物理情報取得装置、固体撮像装置、物理情報取得方法
【課題】別光源から発せられた光に由来する情報を取得する際に、通常光源に起因する外乱ノイズの影響を緩和する。
【解決手段】電磁波エネルギレベルが他の波長よりも低い特定波長と対応した波長の特定波長波を物体に照射し、物体で反射した特定波長波を固体撮像素子３１４で検知し、得られた検知情報に基づき特定波長波に由来する情報を取得する。特定波長を中心とする狭帯域のバンドパス特性を持つ光学バンドパスフィルタ５０２を撮像光学経路上に配置する。特定波長波の物体反射光を検知すれば特定波長成分が通常光源の成分に埋もれずに検知される。特定波長波を物体に照射したときとしないときの各検知情報を比較して通常光源に起因する外乱ノイズの影響が緩和された特定波長波に由来する情報を取得する。光学バンドパスフィルタ５０２を併用すれば、特定波長成分だけを検知でき、通常光源の光量が強い場合でもその影響を受けず、飽和の問題を回避できる。
【解決手段】電磁波エネルギレベルが他の波長よりも低い特定波長と対応した波長の特定波長波を物体に照射し、物体で反射した特定波長波を固体撮像素子３１４で検知し、得られた検知情報に基づき特定波長波に由来する情報を取得する。特定波長を中心とする狭帯域のバンドパス特性を持つ光学バンドパスフィルタ５０２を撮像光学経路上に配置する。特定波長波の物体反射光を検知すれば特定波長成分が通常光源の成分に埋もれずに検知される。特定波長波を物体に照射したときとしないときの各検知情報を比較して通常光源に起因する外乱ノイズの影響が緩和された特定波長波に由来する情報を取得する。光学バンドパスフィルタ５０２を併用すれば、特定波長成分だけを検知でき、通常光源の光量が強い場合でもその影響を受けず、飽和の問題を回避できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物理情報取得装置、固体撮像装置、物理情報取得方法に関する。
【背景技術】
【０００２】
野外での太陽光や室内での照明光などの通常光源とは別の光源（別光源、測定光源）を使用して、別光源から予め定められた波長の光を物体に照射して、その反射光を検知し、検知された検知情報に基づいて各種の信号処理を行なう仕組みが知られている（特許文献１〜５を参照）。
【０００３】
たとえば、アクティブ計測法では、近赤外光を物体へ照射し、その反射光をセンサで受光することで物体距離の検出や被写体の３次元画像を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−２１８２３２号公報
【特許文献２】特開平１１−１５３４０８号公報
【特許文献３】特開２００３−１８５４１２号公報
【特許文献４】特開２００９−０１４４５９号公報
【特許文献５】特表２００９−５２４０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の仕組みでは、別光源から発せられた光に対して、通常光源の光が外乱となってしまい、適正な情報取得ができないことがあった。
【０００６】
典型的な例としては、屋外で使用する際には太陽光による外乱ノイズが大きな問題となる。極端な場合には、太陽光が強すぎるために受光素子が飽和してしまうこともある。
【０００７】
これらの対策としては、別光源から発する光量を大きくする、差分をとることで太陽光ノイズ成分をキャンセルする、飽和しないようにする特別な回路を追加するなどが考えられているが、何れも問題がある。たとえば、強力な太陽光による根本的な外乱ノイズが存在しているため、本質的にＳ／Ｎを高くすることは困難であるし、回路付加で飽和を防止する場合には回路規模が大きくなってしまう。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、別光源から発せられた光に由来する情報を取得する際に、より簡易な方法で、通常光源に起因する外乱ノイズの影響を緩和することのできる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、電磁波の少なくとも第１の波長領域に関して、第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、特定波長と対応した波長の電磁波を発する電磁波出力部と、特定波長の電磁波を検知する第１の検知部と、第１の検知部から得られた検知情報に基づいて信号処理を行なう信号処理部とを備えるものとする。そして、その特定波長と関係する光を検知することで撮像（別光源に由来する情報の取得）を行なう。「特定波長と対応した波長」とは、典型的には、特定波長と同じ波長であるが、多少ずれていてもよい。
【００１０】
つまり、一光源として環境側の持っている電磁波のエネルギが低い部分に測定用の光源の波長を整合させて検出を行なうのである。なお、以下では、「一光源として環境側の持っている電磁波のエネルギが低い」を、「分光特性が低い」や「分光分布が低い」と称することもある。また、一光源としての環境側の光源（たとえば太陽光や照明光など）を通常光源と称することもある。
【００１１】
そして、特定波長と対応した波長の（以下単に「特定波長の」とも記載する）電磁波を物体に照射し、物体で反射した特定波長の電磁波を検知部で検知し、検知部から得られた検知情報に基づき信号処理を行なう。ここでの信号処理は、少なくとも、特定波長の電磁波に由来する情報を取得するものである。
【００１２】
典型的な構成としては、画像取得対象の物体に対して照射光を照射する電磁波照射部と、電磁波照射部による照射光によって物体が照らされた状態の画像成分の電荷を検知する第１の検知部と、物体が自然光のみに照らされた状態の画像成分の電荷を検知する第２の検知部と、第１の検知部と第２の検知部のそれぞれから得られた検知情報に基づいて信号処理を行なう信号処理部とを備えたものとする。ここで、電磁波照射部は、可視光の波長領域を除く波長領域における一部の特定波長の光を発するものとする。
【００１３】
電磁波エネルギが他の波長よりも低い特定波長の電磁波を物体に照射してその反射光を検知すれば、少なくとも、特定波長の成分が第１の波長領域の通常光源の成分に埋もれずに検知される。したがって、特定波長の電磁波を物体に照射したときの検知情報と特定波長の電磁波を物体に照射しないときの検知情報とを比較することで、通常光源に起因する外乱ノイズの影響が緩和された特定波長の電磁波に由来する情報を取得できる。
【００１４】
ただし、これだけでは、特定波長の成分だけでなく通常光源の成分も同時に検知されるので、通常光源の光量が強い場合には、検知部の飽和が起こり得る。
【００１５】
その対策として、好ましくは、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を、撮像光学経路上に配置する。こうすることで、特定波長の成分だけを検知できるようになり、たとえ通常光源の光量が強い場合であっても、その影響を受けない。
【００１６】
つまり、本発明では、通常光源（通常の電磁波）の内で電磁波エネルギが他の波長よりも低い特定波長と対応した（典型的には同じ）波長の特定波長波を物体に照射し、物体で反射した特定波長波を検知部で検知し、検知部から得られた検知情報に基づいて特定波長波に由来する情報を取得する。好ましくは、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を撮像光学経路上に配置する。特定波長波を物体に照射してその反射光を検知すれば、特定波長成分が通常光源の成分に埋もれずに検知される。特定波長波を物体に照射したときと照射しないときの各検知情報を比較することで、通常光源に起因する外乱ノイズの影響が緩和された特定波長波に由来する情報を取得できる。加えて、バンドパス特性を持つ光学部材を併用すれば、特定波長の成分だけを検知できるようになり、通常光源の光量が強い場合であっても、その影響を受けないので飽和の問題を回避できる。
【発明の効果】
【００１７】
本発明の一態様によれば、電磁波エネルギが他の波長よりも低い特定波長と対応した波長の電磁波を物体に照射するという簡易な方法により、通常光源に起因する外乱ノイズの影響が緩和された特定波長の電磁波に由来する情報を取得できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態でカラー画像を撮像する際に採用する色分離フィルタの画素配列の一例を示す図である。
【図２】色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。
【図３】色フィルタ群をなす各色フィルタの特性例を示す図である。
【図４】物理情報取得装置の一例である撮像装置の概略構成を示す図である。
【図５】画像信号処理部を説明する図である。
【図６】第２実施形態の第１例を示す図である。
【図７】第２実施形態の第２例を示す図である。
【図８】第２実施形態の第２例に対する変形例を示す図である。
【図９】第２実施形態の第３例を示す図である。
【図１０】第２実施形態の第４例を示す図である。
【図１１】第２実施形態の第５例を示す図である。
【図１２】第２実施形態の第６例を示す図である。
【図１３】第２実施形態の第７例を示す図である。
【図１４】第２実施形態の第８例を示す図である。
【図１５】特定波長を中心波長とする狭帯域のバンドパス特性を持つ光学部材の製法の基本的な考え方を示す図である。
【図１６】バンドパス特性を持つ光学部材の具体例を説明する図である。
【図１７】太陽光が地上に到達する波長成分を説明する図である。
【図１８】赤外カットフィルタの特性例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００２０】
なお、説明は以下の順序で行なう。
１．基本概念（本実施形態の基本、色分離フィルタ、フィルタの分光特性）
２．撮像装置
３．第１実施形態（高感度画像の取得、赤外光画像の取得、距離計測）
４．第２実施形態
第１例：赤外光領域内の任意の特定波長成分のみを透過
第２例：赤外光領域内の任意の特定波長成分と可視光のみを透過
第３例：赤外光領域内の太陽光吸収波長成分のみを透過（赤外光バンドパス）
第４例：赤外光領域内の太陽光吸収波長成分と可視光のみを透過
（可視光＋赤外光バンドパス）
第５例：「第２例または第４例」＋カラー撮像対応
（オンチップ赤外光フィルタあり）
第６例：「第２例または第４例」＋カラー撮像対応
（オンチップ赤外光フィルタなし）
第７例：可視光画素は赤外カットフィルタ、赤外画素はオンチップフィルタ
第８例：可視光画素は赤外カットフィルタ、赤外画素は赤外バンドパス
５．特殊な光学バンドパスフィルタの詳細
６．比較例との対比
【００２１】
＜基本概念＞
［本実施形態の基本］
撮像環境下においては、光源（通常光源）の分光波長特性は均一ではなく、エネルギレベルが他の波長に比べて相対的に低い波長（低エネルギ波長）が存在する場合がある。このような場合、この低エネルギ波長に別光源の波長を整合させて撮像を行なうと、別光源に由来する情報としては、通常光源に由来するノイズ成分の影響を緩和できる。
【００２２】
本実施形態の仕組みは、この点に着目してなされており、低エネルギ波長を特定波長とし、特定波長と対応した（典型的には同じ）波長の光を被写体に照射する。そして、その特定波長と関係する光を検知することで撮像（別光源に由来する情報の取得）を行なう。
【００２３】
さらに好ましくは、別光源の特定波長帯域（や可視光帯）の波長成分のみを透過させる特定波長を中心とするバンドパス特性を持つ光学部材を撮像光学経路上に配置することも併用する。この場合、特定波長以外の成分が検知部で検知されることが回避されるので、特定波長以外の成分によるノイズの影響をより緩和できるし、飽和の問題も回避できる。
【００２４】
別光源から被写体に特定波長光を照射しない通常光源のみの状態で撮像される画像を通常画像と称し、別光源から被写体に特定波長光を照射した状態で撮像される画像を測定画像と称する。
【００２５】
本実施形態の仕組み理解を容易にするため、以下では、特段の断りのない限り、少なくとも赤外光を別光源に利用した反射光による画像を取得する場合で説明する。好ましくは、反射光による画像と併せて、自然光による画像（モノクロ、カラーは不問）も取得する構成にするのがよい。
【００２６】
［色分離フィルタ］
図１は、本実施形態でカラー画像を撮像する際に採用する色分離フィルタの画素配列（色配置）の一例を示す図である。ここで、図１は、色分離フィルタの色配置例の基本構造を示す図である。
【００２７】
色分離フィルタの色配置としては、基本的には、赤外光画像（反射光によるもの）と可視光カラー画像とをそれぞれ独立に求めることを常時可能にする配置になっている。たとえば、図１に示すように、第１の波長領域成分用の色フィルタＣ１と、第１の波長領域成分を含まない第２の波長領域成分用の色フィルタＣ２，Ｃ３，Ｃ４（何れも選択的な特定波長領域である第２の波長領域成分を透過）の３つの波長領域（色成分）用のものといった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。
【００２８】
本例の場合、第２の波長領域成分は可視光領域成分となる。Ｃ１，Ｃ２，Ｃ３，Ｃ４を纏めて色フィルタ１４と称し、それに対応する検知部を画素１２と称する。赤色画素１２Ｒ、緑色画素１２Ｇ、および青色画素１２Ｂを纏めて可視光検知画素１２VLと称する。可視光検知画素１２VLは、ＲＧＢ信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。第１の波長領域成分が赤外光の場合は、色フィルタＣ１と対応する画素１２を赤外画素１２IRと称する。
【００２９】
色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応するフォトダイオードなどの検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１が配される検知部が第１の検知部であり、色フィルタＣ２，Ｃ３，Ｃ４が配される検知部が第２の検知部である。また、色フィルタＣ２，Ｃ３，Ｃ４が配される検知部は、カラー画像取得のために第２の波長領域（可視光領域）を、さらに色分離に対応するように、波長分離して検知するためのものである。
【００３０】
色フィルタＣ２，Ｃ３，Ｃ４は、理想的には、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。もしくは、色フィルタＣ２，Ｃ３，Ｃ４は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。
【００３１】
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。
【００３２】
透過率が“略１”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
【００３３】
また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。
【００３４】
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、第１実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。もちろん、第２の波長領域に関しては、好ましくは、赤外光成分を排除する仕組みを採っておくのが好ましい。
【００３５】
一方、色フィルタＣ１は、この色フィルタＣ１が配された画素１２が、可視光以外の成分（不可視光成分）の内のより長波長側の成分（典型例は赤外光成分）を検知する画素（典型例は赤外画素１２IR）として機能するようにする特性を持っていればよい。つまり、少なくとも第２の波長領域（本例では可視光）に対して長波長側の第１の波長領域（本例では赤外光）の成分を透過するものであればよく、第１の手法として、色フィルタＣ２，Ｃ３，Ｃ４を通過する第２の波長領域成分（つまり可視光成分）を通過させずに第１の波長領域（本例では赤外光）のみを通過させるもの（いわゆる可視光カットフィルタ）であってもよいし、第２の手法として、第２の波長領域（本例では可視光）から第１の波長領域（本例では赤外光）までの全域の成分を通過させるものであってもよい。
【００３６】
第２の手法を採る場合、色フィルタＣ１は、少なくとも、第１の検知部を色フィルタＣ２，Ｃ３，Ｃ４の第２の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第２の波長領域（本例では可視光）から赤外光領域までの全域の成分を通過させるものであるのがよい。第１実施形態では、このような、色フィルタＣ１を全域通過フィルタと称する。
【００３７】
たとえば、第１の検知部が、可視光帯である青色から赤色までに加えて赤外光までの光に対しても感度を持つようにする全域通過型の白色フィルタを色フィルタＣ１として用いるのがよい。第２の手法の場合、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ１としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、フィルタＣ１を通して第１の検知部で検知すると称する。
【００３８】
色フィルタＣ２，Ｃ３，Ｃ４が配される画素の第２の検知部（たとえばフォトダイオードなどの検知部）は、少なくとも可視光に感度を有していればよく、近赤外光に感度を有する必要はなく、むしろ、色再現性の観点では、可視光成分以外についてはできるだけ感度が低いことが望ましい。
【００３９】
色フィルタＣ１が配されるフォトダイオードなどで構成される第１の検知部は、第１実施形態の場合、少なくとも赤外光（近赤外光を含む）に感度を有することが必要である。また、第２実施形態では、赤外光領域全体に感度を持つことは不要で、少なくとも特定波長に感度を有していればよい。「特定波長」の詳細については後述する。なお、前提として、第１の検知部では、不可視光領域成分の一例である赤外光を検知する必要があるので、第１の検知部に赤外光が入射するようにする必要があり、従来よく使われている赤外光カットフィルタを取り除いて撮像する。
【００４０】
第１の検知部は、色フィルタＣ１が赤外光のみを通過させる可視光カットフィルタである場合には可視光に感度を有する必要はないが、色フィルタＣ１が全域通過フィルタである場合には可視光にも感度を有する必要がある。
【００４１】
色フィルタＣ１が配される第１の検知部は、色フィルタＣ１が配される第１の検知部により得られる第１の波長領域の成分に関わる物理情報（本例では赤外光画像や広波長領域画像）再現用として使用されるだけでなく、色フィルタＣ２，Ｃ３，Ｃ４が配される第２の検知部により得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタＣ１は、色フィルタＣ２，Ｃ３，Ｃ４に対しての補正フィルタとして機能することになる。
【００４２】
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ２，Ｃ３，Ｃ４が配される第２の検知部から第２の波長領域の信号成分ＳC2，ＳC3，ＳC4を、この第２の波長領域の成分とは異なる第１の波長領域（赤外）の成分から事実上分離して検知する。また、少なくとも第１の波長領域（赤外）の成分を含む所定波長領域（赤外のみまたは全域）の信号成分ＳC1をさらに別の第１の検知部で検知する。
【００４３】
また、さらに好ましくは、各信号成分ＳC2，ＳC3，ＳC4を、信号成分ＳC1を使ってより色再現の良好な補正演算（特に色再現補正演算と称する）を実行する、あるいはより高感度な信号となるように補正演算（特に高感度化補正演算と称する）を実行する。
【００４４】
色フィルタＣ１として赤外光成分のみを通過させるのか可視光帯も通過させるのかによって、様々な情報が得られるようになるし、補正演算を実行することで、不要な成分を低減することもできる。
【００４５】
各種の補正演算に当たっては、一例として、４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算することで、可視光カラー画像および近赤外光画像をそれぞれ独立に求めるようにするのがよい。フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３原色出力と、可視光の影響をほぼ全く受けない近赤外光画像を形成するための出力を、それぞれ独立かつ同時に取得することができる。
【００４６】
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。
【００４７】
色補正演算処理や感度高感度化補正演算処理の具体的な手法については、本願明細書では説明を割愛するが、一例として、特開２００７−３２９３８０号公報や特開２００７−２８８５４９号公報などを参照するとよい。
【００４８】
図１では、色分離フィルタの繰返単位が２画素×２画素の場合で示したが、これは一例に過ぎず、実際には、たとえば可視光画像の解像度と赤外光画像の解像度の何れを優先させるかに応じて、色分離フィルタの繰返単位やＣ１〜Ｃ４の配置態様を決めればよい。
【００４９】
この際には、たとえば、従来のＲＧＢ原色フィルタやＣｙ，Ｍｇ，Ｙｅ補色フィルタ（あるいは原色フィルタＧ）の可視光の画素に広波長領域対応用の画素（広波長領域画素１２Ａ）を追加することになるが、実際には、既存のフィルタ配置をベースにして、何れかの可視光の画素を広波長領域画素１２Ａに置き換えることになる。このとき、広波長領域画素１２Ａと可視光画像の解像度に大きく寄与する波長成分の画素（たとえば緑色画素１２Ｇ）の配置態様を工夫することで、可視光画像の解像度低下を抑えることや、あるいは、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度低下を抑えることができる。
【００５０】
図１では、色フィルタＣ１を通しての第１の波長領域成分の画像だけでなく、色フィルタＣ２，Ｃ３，Ｃ４を通しての第２の波長領域成分の色フィルタＣ２，Ｃ３，Ｃ４別の画像も取得できるようにしているが、このことは必須でない。たとえば、色フィルタＣ２，Ｃ３，Ｃ４を全て同色のものにすれば単色画像を取得できる。また、色フィルタＣ２，Ｃ３，Ｃ４を全て色フィルタＣ１と同じすれば、第１の波長領域成分の画像だけの取得に対応することになる。
【００５１】
［フィルタの分光特性］
図２および図３は、波長分離の具体例を説明する図である。ここで、図２は、色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。図３は、色フィルタ群をなす各色フィルタの特性例を示す図である。
【００５２】
まず本例では、色フィルタ１４として、赤色近傍の波長を透過する赤（Ｒ）、緑色近傍の波長を透過する緑（Ｇ）、青色近傍の波長を透過する青（Ｂ）、これらに加え、赤外線（IR）とＲＧＢの全てを透過する白（Ｗ）（もしくは色フィルタを使用しないＡ）の各種類の分光特性を持つ色フィルタＲ，Ｇ，Ｂ，Ｗ（Ａ）によって色フィルタ群を構成した事例で示す。
【００５３】
これら色フィルタ１４の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢを全て透過するＡ（＝Ｙ＋IR）チャネルからなり、対応する赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ、赤外線（ＩＲ）とＲＧＢを全て検知する広波長領域画素１２Ａによって、４種類の分光からなるモザイク画像を得ることができる。
【００５４】
広波長領域画素１２Ａを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む広波長領域信号ＳＡとして広波長領域画素１２Ａにより測定できる。
【００５５】
なお、図２では、白色フィルタ１４Ｗの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
【００５６】
ただし、広波長領域画素１２Ａから得られる広波長領域信号ＳＡには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
【００５７】
具体的には先ず、可視光カラー画像撮像用の色フィルタ１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ１４を用いる。
【００５８】
透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
【００５９】
通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。
【００６０】
一例として、図３（Ａ）に示すような分光感度特性のものを用いることができる。たとえば、Ｂチャネルに対応する青色フィルタ１４Ｂは、青色に相当する３８０ｎｍ〜４８０ｎｍ程度の波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応する緑色フィルタ１４Ｇは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応する赤色フィルタ１４Ｒは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。なお、これらのＲＧＢ対応の色フィルタ１４Ｒ，１４Ｇ，１４Ｂは、約７００ｎｍ以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
【００６１】
一方、Ａチャネル対応の白色フィルタ１４Ｗは、ピークは約５００ｎｍ付近であるが、ＲＧＢ成分の全ての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素１２Ａにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素１２Ａが、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにしている。
【００６２】
なお、本例では、白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにすることで広波長領域画素１２Ａにおける可視光帯のホワイトバランスを考慮しつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体も、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
【００６３】
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素１２Ａからの可視光領域のＲ，Ｇ，Ｂの成分を使って、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
【００６４】
ここで、一般的な撮像素子では、半導体層のいわゆるフォトダイオード部分などの検知部は、可視光領域成分に対する感度については十分に考慮されており、相応の感度が得られるようになっているが、赤外光成分に対する感度は十分なものとなっていない。
【００６５】
たとえば、図３から明らかなように、Ａチャネル対応の全域通過型の白色フィルタ１４Ｗが配された広波長領域画素１２Ａでは、可視光領域での感度は十分にあり、Ｒ，Ｇ，Ｂ画素の分光感度曲線より上回って大きくなっているのが分かる一方で、長波長側、特に赤外光領域での感度低下が大きいことも分かる。たとえば、広波長領域画素１２Ａの感度は、波長５００ｎｍ程度にピークがあり、さらにそれより長波長側では感度が低下して、波長７００ｎｍ以上の赤外光領域では感度が半分以下になることが分かる。このことは、固体撮像素子のデバイス構造が、可視光帯に対しては最適構造になっているかもしれないが、赤外光までの長波長まで感度がとれるような構造になっておらず、長波長側に対しては最適構造になっていないことを意味する。
【００６６】
そこで、本実施形態で使用する固体撮像素子のデバイス構造としては、好ましくはこの点を解消するべく、長波長領域でも十分な感度がとれるように、デバイスの側面から、次のような工夫を採る。具体的には、長波長用のフォトダイオードなどの検知部の有効領域（表面からの厚み）を半導体層の深い所までとして、長波長領域でも十分な感度がとれるように長波長領域の感度向上化手法を適用する。
【００６７】
ただし、単純に有効領域を厚くすると、フォトダイオード内の深いところで発生した信号電荷（キャリア、たとえば電子）が表面側まで移動するのに時間が掛かり、信号読取りに問題が発生する。この対策としては、変調ドーピングをするのが好ましい（たとえば特許第４３９６６８４号公報を参照）。たとえば、Ｎ型基板を用いる場合には、半導体表面から深くなるにつれて、Ｎ型（第１導電型）ドーパントの一例である砒素Ａｓのドーピング濃度が低くなるように変調ドーピングをする。
【００６８】
＜撮像装置＞
図４は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置３００は、可視光カラー画像および赤外光画像を独立に得る撮像装置になっている。
【００６９】
撮像装置３００は、撮影光学系３０２と、光学ローパスフィルタ３０４と、撮像部３１０（固体撮像装置）と、駆動制御部３２０と、発光部３２２と、撮像信号処理部３３０と、表示部３８０と、データ記録部３９０を備えている。
【００７０】
撮影光学系３０２は、撮像レンズを主要素とし、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる。撮像部３１０は、色フィルタ群３１２および固体撮像素子３１４（イメージセンサ）を有する。駆動制御部３２０は固体撮像素子３１４を駆動する。
【００７１】
発光部３２２は電磁波照射部や電磁波出力部の一例であり、被写体に測定光を照射する。本実施形態の発光部３２２は、発光する光の波長帯域に特徴があり、外乱光の波長帯域において、低分光特性波長あるいは低分光分布波長、すなわち、電磁エネルギが他の波長に比べて相対的に低い低エネルギ波長（＝特定波長）に整合したものとする。「整合」とは、特定波長と対応した波長であることを意味し、典型的には、同じ波長が好ましいが、特定波長と多少ずれていてもよい。ただし、ずれた分だけ不要な成分の影響を受けるようになる。
【００７２】
たとえば、地上に到達する太陽光は大気中にてある特定の波長成分が吸収されていることが分かっている。そこで、本実施形態では、太陽光の地上到達波長特性に注目し、太陽光量の非常に少ない吸収波長帯域を特定波長として光源光に利用する。実現するカメラシステムでは、発光部３２２は、撮影被写体に対して照射する光源として赤外帯域で特定波長（吸収波長帯域）成分ＩＲＳを含む光源を用いて被写体Ｚを照射する。
【００７３】
撮像信号処理部３３０は、固体撮像素子３１４から出力された各撮像信号ＳIR（赤外光成分），ＳＶ（可視光成分）を処理する。
【００７４】
光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ３０４と合わせて、可視光成分以外の不要な成分（たとえば長波長側の赤外光成分や短波長側の紫外光成分など）を抑制する光学フィルタ部５００を設けることもできる。たとえば、光学フィルタ部５００としては典型的には赤外光カットフィルタが設けられることがあるが、この点は、一般的な撮像装置と同様である。
【００７５】
光学フィルタ部５００と色フィルタ群３１２は、撮像光学系において光に対してフィルタ特性を持つ光学部材の一例である。第１実施形態では、後述する信号処理との組合せとの観点から、赤外光カットフィルタを備えない構成を基本とする。後述する第２実施形態では、赤外光領域の大部分の成分を抑圧する一般的な赤外光カットフィルタとは異なり太陽光吸収波長などを特定波長として扱い、概ね特定波長成分以外の波長を除去する特殊な（狭帯域のバンドパス特性を持つ）光学部材（光学バンドパスフィルタ）を使用する。
【００７６】
可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影光学系３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
【００７７】
固体撮像素子３１４は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる固体撮像素子３１４の具体的な構成においては、少なくとも、フォトダイオードなどの検知部が形成される半導体層については、前述の長波長領域に対する高感度化手法が適用されたものを使用する。一方、第１波長領域成分の一例である可視光領域と第２波長領域成分の一例である赤外光領域についての波長分離の仕組みについては、特に限定しない。
【００７８】
固体撮像素子３１４の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動制御部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。
【００７９】
固体撮像素子３１４から読み出された電荷信号、すなわち赤外光画像を担持する赤外光撮像信号ＳIRと可視光像を担持する可視光撮像信号ＳVLは撮像信号処理部３３０に送られ、所定の信号処理が加えられる。
【００８０】
たとえば、撮像信号処理部３３０は、前処理部３３２、ＡＤ変換部３３４、画素信号補正処理部３３６、フレームメモリ３３８、インタフェース部３３９、画像信号処理部３４０を有する。
【００８１】
図４において、反射光画像取得部は、発光部３２２と自然光画像取得部とで構成される。つまり、反射光画像取得部と自然光画像取得部においてそれぞれ共有できる部分は共有するような構成にしており、両部で異なる点は発光部３２２の有無であり、発光部以外の部品を共有している。自然光画像取得部は、撮影光学系３０２から画像信号処理部３４０直前までの機能部（換言すると発光部３２２と画像信号処理部３４０を除いた部分）で構成される。もちろんこれは一例であり、たとえば、反射光画像取得部と自然光画像取得部をそれぞれ別の画像取得部として構成してもよい。
【００８２】
発光部３２２は、駆動制御部３２０からの制御情報に従って、被写体Ｚに対して照射光を照射する。被写体Ｚは、撮影光学系３０２によって固体撮像素子３１４上に結像する。固体撮像素子３１４には、撮像した電荷を蓄積する第１の電荷蓄積部（Ｃ２，Ｃ３，Ｃ４に対応する可視光帯の検知部）および第２の電荷蓄積部（Ｃ１に対応する赤外光帯の検知部）が存在している。
【００８３】
前処理部３３２は、固体撮像素子３１４から出力されたセンサ出力信号（可視光撮像信号ＳVLおよび赤外光撮像信号ＳIR）に対して黒レベル調整やゲイン調整やガンマ補正などの前処理を行なう。
【００８４】
ＡＤ変換部３３４は、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換する。
【００８５】
画素信号補正処理部３３６は、撮影光学系３０２で生じるシェーディングや固体撮像素子３１４の画素欠陥などを補正する。
【００８６】
固体撮像素子３１４の出力する映像信号は前処理部３３２で増幅された後、ＡＤ変換部３３４でデジタルデータに変換され、画素信号補正処理部３３６でシェーディングなどの補正がされた後にフレームメモリ３３８に蓄積される。フレームメモリ３３８内のデジタル画像データは、画像信号処理部３４０からの要求に応じて、インタフェース部３３９を経由して出力される。
【００８７】
画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像した情報に基づいて、予め定められた信号処理を行なう。一例としては、通常画像や赤外光画像に対しての高感度化処理を行なう、あるいは、発光部３２２から発せられた特定波長成分の光に由来する画像情報に基づいて被写体距離の計測や物体検出を行なう。
【００８８】
たとえば、被写体Ｚへ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Time of flight）を用いて光飛行時間を測定し、光飛行時間に基づいて被写体Ｚまでの距離を測定したり、被写体Ｚの３次元画像を得る。
【００８９】
表示部３８０は、たとえば、液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬなどの表示デバイスを有し、駆動制御部３２０から入力されるビデオ信号に対応する画像を表示する。
【００９０】
データ記録部３９０は、ＣＯＤＥＣ（Code/Decode あるいはCompression/Decompression の略）を有し、画像信号を記憶するフラッシュメモリなどのメモリ（記録媒体）に、駆動制御部３２０や表示部３８０から供給される画像情報を記録し、また、読み出して復号し駆動制御部３２０や表示部３８０に供給する。
【００９１】
＜第１実施形態＞
図５は、画像信号処理部３４０を説明する図である。画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換する高感度化補正処理部３４１を備えている。
【００９２】
高感度化補正処理部３４１は、色フィルタＣ２〜Ｃ４を通して信号を検知する第２の検知部で検知された各波長の単位信号に基づいて測光量（測定量）を示す信号を取得し、この測光量を示す信号と色フィルタＣ１を通して信号を検知する第１の検知部で検知される高感度の第２の波長領域（本例では可視光領域）の各色成分の信号を使って、第２の検知部で検知された各波長の単位信号（色信号）に対して感度補正演算を実行する。感度補正演算としては、具体的には、第２の検知部で検知された各波長の色信号に対して、測光量を示す信号と第１の検知部で検知される高感度の色信号との比を掛けることで実現する。
【００９３】
このため、高感度化補正処理部３４１は、図示を割愛するが、撮像動作によって得られた色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度画像生成処理部、および、色・感度モザイク画像と輝度画像を用いて単色画像Ｒ，Ｇ，Ｂを生成する単色画像処理部とを有する。なお、一般に、波長成分（色成分）や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。
【００９４】
また、高感度化補正処理部３４１は、単色画像処理部で得られる単色画像に対して、輝度画像生成処理部で得られる輝度画像（測光量を示す）と色フィルタＣ１を通して得られる高感度撮像信号ＳHSを用いて補正を加えることで、高感度補正がなされた単色画像Ｒ，Ｇ，Ｂを生成する高感度化補正部を備えている。
【００９５】
単色画像信号生成部は、注目する色成分について、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＲ，ＳＧ，ＳＢを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
【００９６】
輝度画像生成部も、同様に、色フィルタＣ１を通して得られる色・感度モザイク画像、色フィルタＣ１の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＡを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。
【００９７】
色フィルタＣ１を設けない、Ｒ，Ｇ，Ｂの３原色フィルタを配したベイヤ配列の場合、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、第１実施形態では、このような演算が不要になる。
【００９８】
輝度画像生成部は、Ｒ，Ｇ，Ｂの合成演算手法を適用することもできる。たとえば、色・感度モザイク画像、色フィルタＣ１〜Ｃ４の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算する。そして、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する。ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値である。
【００９９】
画像信号処理部３４０は、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIR（高感度撮像信号ＳHS）を使って補正を加えることで補正可視光撮像信号ＳVL＊（ＳＲ＊，ＳＧ＊，ＳＢ＊）を生成する赤外光抑制補正処理部３４２を備えている。
【０１００】
画像信号処理部３４０は、赤外光抑制補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて輝度信号を生成する輝度信号処理部３４４と、赤外光抑制補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて色信号（原色信号や色差信号）を生成する色信号処理部３４６と、赤外光撮像信号ＳIRに基づいて赤外光画像を表わす赤外光信号を生成する赤外信号処理部３４８とを備えている。
【０１０１】
第１実施形態の構成例では、高感度化補正処理部３４１の後段に、赤外光対応の赤外光抑制補正処理部３４２を設けているが、赤外光抑制補正処理部３４２の後段に、高感度化補正処理部３４１を設ける構成としてもよい。この場合、高感度化補正処理部３４１に設けられる輝度画像生成部を輝度信号処理部３４４と兼用し、また単色画像処理部を色信号処理部３４６と兼用できる。
【０１０２】
固体撮像素子３１４から出力された撮像信号は、撮像信号処理部３３０の前処理部３３２により所定レベルに増幅され、ＡＤ変換部３３４によりアナログ信号からデジタル信号に変換される。可視光成分のデジタルの画像信号は、赤外光抑制補正処理部３４２で赤外光成分が抑制され、さらに輝度信号処理部３４４や色信号処理部３４６にて、必要に応じて（特に色フィルタＣ２，Ｃ３，Ｃ４として補色フィルタを使用した場合）Ｒ，Ｇ，Ｂの色分離信号に分離された後、輝度信号や色信号もしくはこれを合成した映像信号などに変換され出力される。赤外信号処理部３４８にて、赤外光撮像信号ＳIRに対して可視光撮像信号ＳVLを使って補正が加えられる。
【０１０３】
赤外光抑制補正処理部３４２は、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIRを使って補正を加えることができればよく、配設位置は、このような構成に限定されない。たとえば、ＡＤ変換部３３４とシェーディング補正や画素欠陥補正を行なう画素信号補正処理部３３６との間に設け、シェーディング補正や画素欠陥補正の前に赤外光の影響を抑制する補正を行なうようにしてもよい。
【０１０４】
あるいは、前処理部３３２とＡＤ変換部３３４との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の後に赤外光抑制処理を行なうようにしてもよいし、固体撮像素子３１４と前処理部３３２との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の前に赤外光抑制処理を行なうようにしてもよい。
【０１０５】
このような構成によって、撮像装置３００は、撮影光学系３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
【０１０６】
たとえば、撮影光学系３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成される撮像レンズを有し、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１４上に結像させる。
【０１０７】
色フィルタＣ１としては、色フィルタＣ２，Ｃ３，Ｃ４を通して得られる信号よりも光の利用効率が高い高感度信号が得られるようにしており、赤外光撮像信号ＳIRは、高感度撮像信号ＳHS（HS：High Sensitivity）としても機能するようになっている。
【０１０８】
本実施形態の撮像装置３００では、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外（本例では赤外光IR）とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。
【０１０９】
昼間におけるモノクロ画像あるいはカラー画像の撮像時に赤外光IRの影響を受けず、また、夜間などにおいて、赤外光IRによる撮像が可能となる。必要に応じて、他方の像も同時に出力することもできる。その場合でも、昼間において、可視光VLの影響を受けない赤外光IRのみの画像を得ることができる。
【０１１０】
波長別（色別）の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素１２Ａ側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
【０１１１】
発光部３２２から赤外光領域の特定波長光を発して得た赤外画像と発光部３２２から特定波長光を発しないで得た通常画像（特定波長光以外の太陽光による赤外光成分を含んでよい）とを比較する（典型例は両者の差分をとる）こともできる。この場合、夜間に限らず昼間でも、特定波長光のみに由来する情報を高精度に分離することができ、高精度の測距ができる。
【０１１２】
発光部３２２から特定波長光を発して得た赤外画像に基づく測距の手法は、たとえば、特開２００３−１８５４１２号公報に記載されている手法（同公報の図３を参照）を利用すればよい。
【０１１３】
眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を同時に受けることができるだけでなく、発光部３２２から特定波長光を発するか否かを切り替えての撮像もでき、従来にない新しいカメラシステムを提供できる。
【０１１４】
＜第２施形態＞
第２実施形態では、特定波長光を発する発光部３２２を使用する第１実施形態に加えて、受光側の撮像光学系では、少なくとも第１の波長領域の一例である赤外光領域に関して、光源に用いる波長帯域成分を透過しその他の赤外光成分をカットする特殊なバンドパスフィルタを撮像部の入射面側に設ける。さらに、第２の波長領域の一例である可視光領域についての取り扱いをどうするかで種々の態様を取り得る。
【０１１５】
以下具体的に説明する。なお、特段の断りのない限り、第１の波長領域は、たとえば波長６８０ｎｍ以上あるいは７５０ｎｍ以上の赤外光領域であるとする。また、特段の断りのない限り、「受光側の受光光路中」とは撮像レンズから撮像デバイスである固体撮像素子３１４の検知部表面までの撮像光学系の光路中を意味するものとする。固体撮像素子３１４の検知部表面とは、たとえばカラーフィルタ（色フィルタ群３１２）やオンチップマイクロレンズなどを除いたデバイス本体部分を意味する。
【０１１６】
［第１例］
図６は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第１例を示す図である。
【０１１７】
第１例は、赤外光領域内に１つ以上の特定波長成分を含む光を発する光源（発光部３２２）を用い、受光側の受光光路中には光学フィルタ部５００として、概ね特定波長成分以外の波長を除去する光学バンドパスフィルタ５０２を有する点に特徴を有する。受光側の撮像光学系では、光源から発せられた光の内の特定波長帯域だけを透過し、その他の赤外光および可視光をカットする特殊な光学バンドパスフィルタ５０２を設ける構成である。光学バンドパスフィルタ５０２は、たとえば太陽光ノイズ成分の低減を実現するには、赤外光領域に関しては、太陽光吸収波長以外には透過特性を持たないようにする必要がある。第１例の仕組みでは、固体撮像素子３１４に青、緑、赤の各色用の色フィルタ群３１２を画素に設けず、各画素が可視光範囲（青、緑、赤の各色成分に対応した全波長範囲）の光を受光する構成となる。
【０１１８】
典型的には前述した太陽光が外乱光に該当し、この場合には、太陽光吸収波長が特定波長に該当するが、「特定波長」は必ずしもこれには限定されず、赤外光領域内あるいは赤外光領域以外の任意の波長領域であってよい。たとえば、室内であるか室外であるかを問わず、水銀灯やナトリウムランプの影響がある状態で撮像を行なう場合には、これらの光源が太陽光と同じように外乱光成分の他の一例となり得る。さらには、室内など太陽光の入射は殆ど考えなくてもよい環境下において、太陽光（や蛍光灯や白熱灯などの照明光）以外の不要な成分が外乱光成分の他の一例として存在する場合が考えられる。
【０１１９】
そして、これらの場合において、その外乱光成分にはエネルギが他の波長に比べて相対的に低い低エネルギ波長（一点に限らずある範囲でよい：以下同様）が存在する場合には、この低エネルギ波長が特定波長に該当する。また、外乱光成分における低エネルギ波長は１つと限らず複数存在することも考えられるが、この場合には、その複数の低エネルギ波長がそれぞれ「特定波長」に該当する。これらの点は、後述する他の例においても同様である。
【０１２０】
たとえば、図６（１）は、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０２を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０２Ａを設ける場合を示す。一方、図６（２）は、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０２を設ける際に、光学バンドパスフィルタ５０２を固体撮像素子３１４上に一体で設ける構成を示す。図６（２）では、固体撮像素子３１４のデバイス本体部分３１１上にオンチップでマイクロレンズ３１８が設けられており、このマイクロレンズ３１８上に少なくとも特定波長に対しては透明な保護層３１９を介して光学バンドパスフィルタ５０２が設けられている。図６（３）および図６（４）では、マイクロレンズ３１８と光学バンドパスフィルタ５０２の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にするものである。
【０１２１】
光学バンドパスフィルタ５０２については、赤外光領域内の特定波長成分以外の波長に加えて可視光領域の光も吸収または反射するものであればよい。たとえば、図６（１）、図６（２）、図６（３）は、「反射」を利用するものであり、詳細は後述するが、フィルタ特性の異なる２種類以上の多層膜フィルタの組合せ（積層構造）により構成された光学バンドパスフィルタ５０２Ａを使用している。
【０１２２】
図６（４）は、「吸収」を利用するものであり、光学バンドパスフィルタ５０２Ｂを使用している。光学バンドパスフィルタ５０２Ｂは、赤外光領域内の特定波長成分のみを透過するように、赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ１が使用されたものである。
【０１２３】
赤外光フィルタＩＲＳ１は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。あるいは、Ｒ，Ｇ，Ｂのカラーフィルタと同様の考え方で材料の選択により実現することも考えられる。
【０１２４】
なお、撮像デバイスが光電変換感度を有しない波長以上では光が検知部に入射しても、光電変換されることはない。したがって、赤外光フィルタＩＲＳ１は、光電変換感度を有しない波長以下における赤外光（特にこの例では特定波長のみ）に対して透過特性を持っていればよく、光電変換感度を有しない波長以上の領域においては透過性を持つか否かは問わない。この点は、他の赤外光フィルタや光学バンドパスフィルタを始めとする各種の光学部材でも同様である。
【０１２５】
第１例の仕組みは、固体撮像素子３１４（光電変換素子）、受発光システム、カメラシステムなどとして適用される。そしてたとえば、赤外光領域中の光源波長（特定波長）と同一の波長成分のみを利用したモノクロ画像（特定波長の赤外光画像）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報の取得とを切り替えて使用可能なカメラシステムを構築できる。特定波長の赤外光画像を通常画像として取得する際には、光源から特定波長の赤外光（不可視光）を発しないでおく。一方、測距情報を表わす測定画像の取得時は、全ての画素を、被写体に照射する特定波長の光（以下「特定波長光」とも記す）を取得し距離情報を得るために利用することになる。切替撮像で取得された通常画像と測定画像を比較する（典型例は差分処理をする）ことで、光源から発せられた特定波長の赤外光のみに基づく距離情報を表わす画像を高精度に抽出することもできる。
【０１２６】
つまり、第２実施形態の仕組みは、後述する第５例のようなカラー画像の同時取得に限定されない。特定波長帯域だけを透過し、その他の赤外光および可視光をカットする特殊な光学バンドパスフィルタ５０２を受光側の撮像光学系に設けることで、全ての画素を特定波長光（発光部３２２から被写体に照射する特定波長光に限らない）に基づく画像を取得するために利用できる。
【０１２７】
たとえば、第１例を適用したカメラシステムでは、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０２で反射されるので、固体撮像素子３１４の画素で光電変換されることはない。また、赤外光領域内の特定波長成分以外の赤外光成分（図中のＩＲ成分）は光学バンドパスフィルタ５０２にて除去されるために固体撮像素子３１４の画素にて光電変換されることはない。しかし、光源から発せられ被写体で反射した成分であるかどうかを問わず、赤外光領域内の特定波長成分（図中のＩＲＳ成分）は光学バンドパスフィルタ５０２を透過して固体撮像素子３１４へ入射し光電変換される。
【０１２８】
第１例では、発光部３２２から発せられたか否かを問わず、特定波長光に基づくモノクロ画像と被写体に照射する光源による（つまり発光部３２２から発せられた）特定波長光（ここでは赤外光）に基づく測定画像を切り替えてもしくは同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いての測距が可能である。特定波長光以外の不要な赤外光成分が減少することで受光素子の飽和の問題を回避できる。
【０１２９】
［第２例］
図７は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第２例を示す図である。
【０１３０】
第２例は、赤外光領域内に１つ以上の特定波長成分を含む光源を用いる点で第１例と同様であるが、受光側には光学フィルタ部５００として、可視光成分と概ね特定波長成分以外の波長を除去する光学バンドパスフィルタ５０４を有する点に特徴を有する。つまり、第１例との比較では、光源には相違がないが光学フィルタ部５００が異なっている。光学バンドパスフィルタ５０４が可視光領域の成分の光も通過するようにすることで、可視光領域の光に基づくモノクロ画像を取得できるようにしている。
【０１３１】
特殊な光学バンドパスフィルタ５０４は、可視光領域の成分の光を通過する（可視光帯に透過特性を持つ）とともに、太陽光ノイズ成分の低減を実現するには、赤外光領域に関して、赤外帯域の特定波長以外には透過特性を持たないようにする必要がある。第２例の仕組みでは、固体撮像素子３１４に青、緑、赤の各色用の色フィルタ群３１２を画素に設けず各画素が全ての可視光を受光する構成とする。
【０１３２】
たとえば、図７（１）は、図６（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０４を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０４を設ける場合を示す。一方、図７（２）は、図６（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０４を設ける際に、光学バンドパスフィルタ５０４を固体撮像素子３１４上に一体で設ける構成を示す。図７（３）および図７（４）はそれぞれ、図６（３）および図６（４）と対応し、マイクロレンズ３１８と光学バンドパスフィルタ５０４の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にするものである。
【０１３３】
光学バンドパスフィルタ５０４については、詳細は後述するが、可視光領域の光と赤外光領域内の特定波長成分は透過するが、可視光領域の光と赤外光領域内の特定波長成分以外の波長の光を吸収または反射するものであればよい。たとえば、図７（１）、図７（２）、図７（３）は、「反射」を利用するものであり、フィルタ特性の異なる２種類以上の多層膜フィルタの組合せ（積層構造）により構成された光学バンドパスフィルタ５０４Ａを使用している。
【０１３４】
図７（４）は、「吸収」を利用するものであり、光学バンドパスフィルタ５０４Ｂを使用している。光学バンドパスフィルタ５０４Ｂは、全画素について、可視光帯と赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ２が使用されたものである。赤外光フィルタＩＲＳ２は、後述する特殊な光学バンドパスフィルタ５０４などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。図示しないが、光学バンドパスフィルタ５０４Ｂは、可視光用の画素（可視光画素）と対応する部分では可視光帯に透過性を持つように全域通過の白色フィルタＷが使用され、赤外画素と対応する部分では赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ１が使用されたものとしてもよい。
【０１３５】
このような第２例の仕組みも、固体撮像素子３１４（光電変換素子）、受発光システム、カメラシステムなどとして適用される。そしてたとえば、赤外光領域中の光源波長と同一の波長成分を含む可視光を利用したモノクロ画像（通常画像の一例）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報を表わす測定画像の取得とを同時にまたは切り替えて行なうことが可能なカメラシステムを構築できる。距離情報との同時撮像であるか否かを問わず、固体撮像素子３１４は青、緑、赤の各色用の色フィルタ群３１２（色フィルタ１４）を画素に設けず各画素が全ての可視光を受光する構成であるので、非常に明るい輝度情報の画像（モノクロ画像）の取得が可能である。なお、詳しくは、図７（４）の構成の場合、各画素は可視光と赤外光領域の特定波長光の区別ができないので、可視光帯の成分と赤外光領域の特定波長光の成分を合わせたモノクロ画像を取得することになる。
【０１３６】
たとえば、切替撮像の場合に、可視光画像（自然光画像）を取得する際には、光源から特定波長の赤外光（不可視光）を発しないでおく。一方、測距情報の取得時は、全ての画素を被写体に照射する特定波長光と可視光の双方を取得し可視光画像に距離情報が混合された形態で取得するために利用することになる。切替撮像で取得された通常画像と測定画像の差分をとることで光源から発せられた特定波長の赤外光のみに基づく距離情報を表わす画像を高精度で抽出することもできる。
【０１３７】
たとえば、第２例を適用したカメラシステムでは、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０４を透過し、固体撮像素子３１４の画素に入射し光電変換される。光源から発せられ被写体で反射した成分であるかどうかを問わず、赤外光領域内の特定波長成分（図中のＩＲＳ成分）も光学バンドパスフィルタ５０４を透過して固体撮像素子３１４へ入射し光電変換される。しかし、赤外光領域内の特定波長成分以外の赤外光成分（図中のＩＲ成分）は光学バンドパスフィルタ５０４にて除去されるために固体撮像素子３１４の画素にて光電変換されることはない。
【０１３８】
この第２例は、可視光用の画素と赤外光ＩＲＳ用の画素の区別が実質的にできない点で、後述する第２例に対する第２変形例では可視光用の画素と赤外光ＩＲＳ用の画素の区別ができるのと異なる。つまり、固体撮像素子３１４やカメラシステムとしてこのような構成とすることで、各画像は従来と同様に青、緑、赤の波長成分は撮像光学系中の光学バンドパスフィルタ５０４を透過し、固体撮像素子３１４にて可視光画素（赤外画素でも）にて色の区別なく受光され光電変換される。赤外波長帯域の大部分の光は撮像光学系中の光学バンドパスフィルタ５０４を通過することができないので光電変換されない。そして、被写体に照射する特定波長光は、撮像光学系中の特殊な光学バンドパスフィルタ５０４を透過して赤外画素（可視光画素でも）に受光され光電変換される。
【０１３９】
被写体に照射した光源の光は各画素に集光され光電変換される可能性があり、この光はモノクロの可視光画像を表わす輝度成分に対するノイズとなり得る。しかしながら、可視光画素には本来の可視光成分（青、緑、赤の合成光）が非常に大量に光電変換されることから、輝度成分に対するノイズは非常に限定的で影響は殆どない。
【０１４０】
第２例では、可視光帯（詳しくは赤外光領域の特定波長光も含む）のモノクロ画像と被写体に照射する光源による（つまり発光部３２２から発せられた）特定波長光（ここでは赤外光）に基づく測定画像とを切り替えてもしくは同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いての測距が可能である。
【０１４１】
図示しないが、赤外画素の感度向上対策で説明したように、可視光画素では半導体層の浅い所を有効領域にし、赤外画素では半導体層の深い所までを有効領域にする構造にすることが考えられる。この場合、各画素は可視光と赤外光領域の特定波長光の区別ができ、可視光画素では可視光帯の成分のみのモノクロ画像を取得することができる。
【０１４２】
［第２例の変形例］
図８は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第２例に対する変形例を示す図である。
【０１４３】
図８（１）は、第２例に対する第１変形例である。第１変形例は、光学バンドパスフィルタ５０４では「反射」を利用するものであるが、それとは別に、色フィルタ部５１０を撮像光学系の光路中に設けている。図の色フィルタ部５１０は、特定波長は通過するが可視光帯域を「吸収」する可視光カットフィルタ５１２Ａを固体撮像素子３１４上の全面にオンチップで設けている例である。図では、図７（２）に対する変形例で示しているが、その他のものにも同様の変形を適用できる。
【０１４４】
第２例に対する第１変形例は、光学バンドパスフィルタ５０４と可視光カットフィルタ５１２Ａの組合せにより光学フィルタ部５００が構成される。可視光カットフィルタ５１２Ａとしては、可視光を吸収しかつ赤外光を透過する赤外光フィルタＩＲを使用する。赤外光フィルタＩＲは、可視光成分の波長を吸収または反射により除去するとともに赤外光領域に関しては少なくとも特定波長に対して透過性を持つものであればよい。つまり、赤外光フィルタＩＲは、赤外光領域の特定波長のみを通過する形態のものである必要はなく、赤外光帯（少なくとも特定波長範囲を含む）のみに対して透過特性を持つ一般的な赤外光用の色フィルタでよい。
【０１４５】
第２例の第１変形例の場合、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０４を透過するが、可視光カットフィルタ５１２Ａにより吸収されるので、固体撮像素子３１４の画素で光電変換されることはない。このため、固体撮像素子３１４で得られる情報としては、第１例と同様になる。たとえば、赤外光領域中の光源波長と同一の波長成分のみを利用したモノクロ画像（特定波長の赤外光画像）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報の取得とを切り替えて使用可能なカメラシステムを構築できる。
【０１４６】
図８（２）は、第２例に対する第２変形例である。第２変形例は、光学バンドパスフィルタ５０４Ａでは「反射」を利用するものであるが、それとは別に、色フィルタ部５１０を撮像光学系の光路中に設けている。図の色フィルタ部５１０は、特定波長は通過するが可視光帯域を「吸収」する可視光カットフィルタ５１２Ｂを固体撮像素子３１４上にオンチップで設けている例である。第２例の第２変形例の場合、固体撮像素子３１４で得られる情報としては、第２例と同様になる。可視光カットフィルタ５１２Ａとの相違は赤外画素の部分だけに可視光帯域を「吸収」するように赤外光フィルタＩＲを配置する点である。図では、図７（２）に対する変形例で示しているが、その他のものにも同様の変形を適用できる。
【０１４７】
第２例の第２変形例は、光学バンドパスフィルタ５０４Ａと可視光カットフィルタ５１２Ｂの組合せにより光学フィルタ部５００が構成される。可視光カットフィルタ５１２Ｂとしては、可視光画素と対応する部分では可視光帯に透過性を持つように全域通過の白色フィルタＷが使用され、赤外画素と対応する部分では可視光を吸収しかつ赤外光を通過する赤外光フィルタＩＲを使用する。赤外光赤外光フィルタＩＲは、赤外光領域の特定波長のみを通過する形態のものである必要はなく、赤外光帯（少なくとも特定波長範囲を含む）のみに対して透過特性を持つ一般的な赤外光用の色フィルタでよい。
【０１４８】
なお、可視光カットフィルタ５１２Ｂの全域通過の白色フィルタＷは、これを設けないと構造的にデバイスの製造が難しくなる場合（たとえばオンチップのマイクロレンズの配置などのため）に対処するために、可視光を透過する材料として設けている。したがって、製造上の問題がなければ可視光画素の部分に全域通過の白色フィルタＷを設けることは必須でない。
【０１４９】
色フィルタ部５１０に可視光カットフィルタ５１２Ｂを設けたことで、画素としては、可視光画像と赤外光画像の区別をできるようになる。このため、単一の固体撮像素子３１４にてモノクロ画像と赤外情報を同時に取得することが可能となる。光学バンドパスフィルタ５０４Ａの存在により、赤外光領域の大部分の不要な成分をカットすることができ、赤外画素は飽和の問題を回避することができる。
【０１５０】
色フィルタ部５１０は、可視光画素と対応する部分に全域通過の白色フィルタＷを設けているが、実態としては、青、緑、赤の各色用のカラーフィルタを可視光画素に設けず各可視光画素が全ての可視光を受光する構成となる。したがって、第２例の第２変形例は、非常に明るい輝度情報の画像（モノクロ画像）と測距情報の同時取得が可能である。
【０１５１】
［第３例］
図９は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第３例を示す図である。
【０１５２】
第３例は、第１例における「特定波長範囲」が太陽光吸収波長の場合での適用例である。複数の太陽光吸収波長がそれぞれ「特定波長範囲」に該当する。この点は、後述する他の例においても同様である。
【０１５３】
太陽光吸収波長である７６０ｎｍ近傍または９４０ｎｍ近傍または１１３０ｎｍ近傍または１４００ｎｍ近傍の波長成分を含む光を発する光源を発光部３２２に用い、受光側（受光光路中）には光源以外の波長を除去する光学バンドパスフィルタ５０６を設ける。光学バンドパスフィルタ５０６は、第１例の光学バンドパスフィルタ５０２と同等のものと考えればよい。
【０１５４】
たとえば、図９（１）は、図６（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０６を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０６Ａを設ける場合を示す。一方、図９（２）は、図６（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０６を設ける際に、光学バンドパスフィルタ５０６Ａを固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図６（３）および図６（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０６の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１５５】
図９（１）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、固体撮像素子３１４とは別部品の光学バンドパスフィルタ５０６Ａとして９４０ｎｍ近傍などを透過するものを使用する場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１５６】
図９（２）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、９４０ｎｍ近傍などを透過する光学バンドパスフィルタ５０６Ａが固体撮像素子３１４にオンチップで設けられている場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１５７】
［第４例］
図１０は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第４例を示す図である。
【０１５８】
第４例は、第２例における「特定波長範囲」が太陽光吸収波長の場合での適用例である。太陽光吸収波長である７６０ｎｍ近傍または９４０ｎｍ近傍または１１３０ｎｍ近傍または１４００ｎｍ近傍の波長成分を含む光を発する光源を発光部３２２に用い、受光側（受光光路中）には可視光と光源以外の波長を除去する光学バンドパスフィルタ５０８を設ける。光学バンドパスフィルタ５０８は、第２例の光学バンドパスフィルタ５０４と同等のものと考えればよい。
【０１５９】
たとえば、図１０（１）は、図７（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０８Ａを設ける場合を示す。一方、図１０（２）は、図７（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、光学バンドパスフィルタ５０８Ａを固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図７（３）および図７（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０８の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１６０】
図１０（１）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、固体撮像素子３１４とは別部品の光学バンドパスフィルタ５０８Ａとして９４０ｎｍ近傍を透過するものを使用する場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１６１】
図１０（２）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、９４０ｎｍ近傍などを透過する光学バンドパスフィルタ５０８Ａが固体撮像素子３１４にオンチップで設けられている場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１６２】
図示しないが、第４例に対しても、第２例に対する第１変形例や第２変形例と同様の変形が可能である。
【０１６３】
第４例では、太陽光の７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の特定波長に光源波長を整合させることで、屋外での太陽光による赤外帯域のノイズ成分を避けることができる。これらの特定波長の光を発光部３２２から被写体に照射する。同時に、赤外帯域のノイズ成分をカットするが、可視光帯域と光源の特定波長帯域の波長成分は透過させる特殊な赤外カットフィルタ光学素子の一例として光学バンドパスフィルタ５０８を設けることで、赤外光領域に関しては特定波長以外の成分が検知部で検知されることを回避することで、飽和の問題も解消する。
【０１６４】
［第５例］
図１１は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第５例を示す図である。
【０１６５】
第５例は、可視光の通常画像を取得可能な第２例や第４例に対する変形例であり、可視光帯を色分別して受光するように変形することでカラー画像撮像に対応するものである。このため、可視光画素と対応する部分には可視光領域の色分離に対応する波長を透過するカラーフィルタを設け、特定波長成分用の赤外画素と対応する部分には可視光を吸収または反射しかつ赤外光領域の少なくとも特定波長成分を透過するカラーフィルタを設ける。
【０１６６】
たとえば、図１１（１）は、図７（１）や図１０（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０８を設ける場合を示す。一方、図１１（２）は、図７（２）や図１０（２）（詳しくは図１０（６））と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、光学バンドパスフィルタ５０８を固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図７（３）および図７（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０８の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１６７】
このような第５例の基本的な構成は、第２例や第４例と同様であるが、可視光帯を色分別して受光するように可視光画素と対応する部分には色分離用のカラーフィルタ（色フィルタ群３１２）を有する色フィルタ部５２０が設けられている。第２例や第４例と同様に、受光側の撮像光学系では、可視光を透過し、かつ、赤外光領域については光源から発せられた特定波長帯域の光だけを透過しその他の赤外光をカットする光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を設ける。
【０１６８】
カラー画像を撮影する可視光画素にはカラー画像を取得するためにたとえば、青、緑、赤の各色の画素を有する構成にする場合は、それぞれの波長成分以外を吸収または反射するカラーフィルタを設けた画素と、被写体に照射する特定波長光を検知し距離情報を得るための赤外画素を設ける。赤外画素には、可視光成分の波長を吸収または反射により除去するとともに赤外光領域に関しては少なくとも特定波長に対して透過性を持つ赤外光フィルタＩＲを設ける。
【０１６９】
色フィルタ部５２０は色フィルタ部５１０と対応するもので、特に、図８（２）に示した第２例に対する第２変形例における可視光カットフィルタ５１２Ｂと対応する。構成としては、可視光カットフィルタ５１２Ｂの全域通過の白色フィルタＷを、青（Ｂ）、緑（Ｇ）、赤（Ｒ）のそれぞれに対応する色フィルタを配置した色分離フィルタＲ／Ｇ／Ｂに置き換えたものが色フィルタ部５２０である。色フィルタ部５２０は、赤外画素と対応する部分では可視光を吸収しかつ赤外光を通過する赤外光フィルタＩＲを使用する。
【０１７０】
以下では、第４例に対する変形例で説明する。太陽光の地上到達波長特性に注目し、太陽光量の非常に少ないたとえば７６０ｎｍ、９４０ｎｍ、１１３０ｎｍ、１４００ｎｍ近傍の特定波長帯域を利用する。そして、実現するカメラシステムでは、撮影被写体に対して照射する光源（発光部３２２）として７５０ｎｍ以上の赤外帯域で４つの特定波長帯域の内１つ以上の波長成分を含む光を発する光源を発光部３２２に用いる。
【０１７１】
固体撮像素子３１４やカメラシステムとしてこのような構成とすることで、青、緑、赤の波長成分は撮像光学系中の光学バンドパスフィルタ５０８で透過されるので、カラー画像は従来と同様に固体撮像素子３１４上のカラーフィルタにてそれぞれの成分として受光され光電変換される。一方、可視光成分の波長を吸収または反射により除去する赤外光フィルタＩＲを設けた赤外画素では青、緑、赤の波長成分は光電変換されることはない。
【０１７２】
発光部３２２から特定波長光を発しての測距情報の取得では、被写体に照射された太陽光による赤外波長帯域の特定波長光成分を除く大部分の光は撮像光学系中の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を通過することができないので光電変換されない。一方、被写体に照射する特定波長光は、撮像光学系中の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を透過し、可視光成分の波長を吸収または反射により除去する赤外光フィルタＩＲを設けた赤外画素に受光され光電変換される。
【０１７３】
被写体に照射した光源の特定波長光はカラー画像用の色分離フィルタＲ／Ｇ／Ｂの分光特性によっては可視光画素に集光され光電変換される可能性があり、カラー画像の色成分に対するノイズとなり得る。しかしながら、それぞれのカラー画素には本来の可視光成分（青、緑、赤の各別の光）が非常に大量に光電変換されることから、色成分に対するノイズは非常に限定的で影響は殆どない。仮に、暗い場所の場合は、色分離フィルタＲ／Ｇ／Ｂへの照射光が入り光電変換される影響があるが、たとえば、Ｒ−ＩＲ・α、Ｇ−ＩＲ・β、Ｂ−ＩＲ・γという差分演算をすることで特定波長光の影響を抑制できる。
【０１７４】
光学フィルタ部５００および色フィルタ部５２０を第５例のような構成とすることで、単一の固体撮像素子３１４にてカラー画像と赤外情報を同時に取得することができる。つまり、色フィルタ部５２０により可視光画素（特に色画素）と赤外画素が区別されるので、カラー画像と被写体に照射する光源による特定波長光に基づく測定画像を同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いて昼間の屋外でも測距が可能となる。
【０１７５】
屋外では地上に到達する太陽光は主に大気中の水分にて７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の光が吸収される。このような特定波長の光を被写体を照射し、その反射光を透過する光学バンドパスフィルタ５０６を設けることにより直接的な外乱によるＳ／Ｎ比（Signal-Noise ratio：信号雑音比）を大幅に改善できる。固体撮像素子３１４あるいは撮像システムをこのような構成とすることで、屋外における外乱ノイズの極めて少ない信号を得ることが可能となる。また、特定波長光以外の不要な入射太陽光成分が減少することで飽和の問題も解消される。これにより、室内はもちろん太陽光下でも精度の高い距離計測や物体検出が可能になる。
【０１７６】
［第６例］
図１２は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第６例を示す図である。第６例は、第５例に対する変形例であり、図１２（１）は図１１（１）に対する適用例を示し、図１２（２）は図１１（２）に対する適用例を示す。第６例は、色フィルタ部５２０は赤外画素に赤外光フィルタＩＲを設けないようにしている。なお、この例は、色フィルタ部５２０が設けられているカラー撮像用の場合で示しているが、色フィルタ部５２０が設けられていないモノクロ撮像用の場合にも同様の考え方を適用できる。
【０１７７】
この場合、可視光成分も赤外画素で検知されることが懸念される。この対策として、第６例では、赤外画素の感度向上対策で説明したように、赤外画素では半導体層の深い所までを有効領域にする構造にする。
【０１７８】
すなわち、第６例では、赤外波長の場合は可視光に比べて半導体（たとえばシリコン）の深層部で光電変換される特性を持っていることに着目して、第５例で設けていた可視光成分の波長を除去する色フィルタ部５２０の赤外光フィルタＩＲを設けない。可視光波長が吸収される深さでは光電変換を生じさせず、赤外光波長が吸収される深さで光電変換を生じさせる構造とすることで、被写体に照射した特定波長光を検知することで距離情報を得ることができる。
【０１７９】
なお、色フィルタ部５２０に、赤外光フィルタＩＲを設けない場合、構造的にデバイスの製造が難しくなること（たとえばオンチップのマイクロレンズの配置などのため）が起こり得る。この対処のためには、製造上使用し易く、被写体に照射する特定波長光を透過する材料を代わりに設けてもよい。たとえば、可視光帯域から近赤外光帯域に対して部分的に透過しない色フィルタ（Ｒ／Ｇ／Ｂ／シアン／マゼンタなど）のように吸収帯域が存在しつつ前記特定波長光を透過する材料、または、少なくとも特定波長を含む可視光帯から赤外光帯に全域通過の白色フィルタＷを使用することが考えられる。第５例の場合、特定波長のみを通過させるようにするには相当の厚さ（たとえば１μｍ程度が考えられる）のフィルタが必要になり、Ｒ，Ｇ，Ｂのカラーフィルタの厚さ（たとえば６００〜７００ｎｍ程度）との整合性が問題となる。これに対して、第６例では、基本的にはフィルタ厚さの問題が起きない。すなわち、カラーフィルタ構造の高さ整合性を確保する上で、第６例は好適な態様である。
【０１８０】
「被写体に照射する特定波長光を透過する材料」は、可視光と赤外光の双方に対して透過性を持つ材料であり、第５例で使用した赤外光フィルタＩＲ（可視光に対して透過性を持たない）とは異なるものである。また、Ｒ，Ｇ，Ｂのカラーフィルタと同様の考え方を適用して、どのような材料を使うかを適宜選択することで実現することも考えられる。
【０１８１】
［第７例］
図１３は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第７例を示す図である。
【０１８２】
第７例は、第５例に対する変形例であり、図１３（１）は図１１（１）に対する適用例を示し、図１３（２）は図１１（２）に対する適用例を示す。第７例は、光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を光学バンドパスフィルタ５３０に置き換えている。
【０１８３】
光学バンドパスフィルタ５３０は先ず、可視光画素と対応する部分には可視光以外の波長を吸収または反射により除去するバンドパスフィルタ（いわゆる赤外カットフィルタ）を設けている。さらに光学バンドパスフィルタ５３０は、赤外画素と対応する部分には、光学バンドパスフィルタ５３０の部材が存在しないように（開口部となるように）している。つまり、第７例は、カラー画像を取得する可視光画素上に可視光以外の波長を吸収または反射により除去するバンドパスフィルタを設け、被写体に照射する特定波長光を検知し距離情報を得るための赤外画素部分にはバンドパスフィルタを設けない。
【０１８４】
この場合、可視光成分および特定波長光以外の赤外光成分も赤外画素で検知されることが懸念される。この対策として、第７例では、赤外画素の部分には、被写体に照射する特定波長光以外の波長を吸収または反射により除去する赤外光フィルタＩＲＳ２を、色分離用の色フィルタ群３１２（Ｒ／Ｇ／Ｂ）と併せてオンチップで設ける。このような赤外光フィルタＩＲＳ２は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。
【０１８５】
図示しないが、赤外画素の部分を、第６例で示したように、半導体層の深い所までを有効領域にする構造にすることも考えられる。この場合は、赤外画素では可視光成分を検知しないので、赤外光フィルタＩＲＳ２は、可視光および被写体に照射する特定波長光光以外の波長を吸収または反射により除去する赤外光フィルタＩＲＳ３に置き換えることができる。このような赤外光フィルタＩＲＳ３は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパス（ただし可視光も透過させるようにする）とローパスの２種の色フィルタの組合せで実現すればよい。
【０１８６】
［第８例］
図１４は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第８例を示す図である。
【０１８７】
第８例は、第５例に対する変形例であり、図１４（１）は図１１（１）に対する適用例を示し、図１４（２）は図１１（２）に対する適用例を示す。第８例は、光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を光学バンドパスフィルタ５４０に置き換えている。見方を変えると、第８例は第７例に対する変形例であり、光学バンドパスフィルタ５３０を光学バンドパスフィルタ５４０に置き換えている。
【０１８８】
光学バンドパスフィルタ５４０は先ず、可視光画素と対応する部分には可視光以外の波長を吸収または反射により除去するバンドパスフィルタ（いわゆる赤外カットフィルタ）を設けている。さらに、光学バンドパスフィルタ５４０は、赤外画素と対応する部分には、被写体に照射する特定波長光だけを透過し、それ以外の波長を吸収または反射により除去する特殊なバンドパスフィルタ（光学バンドパスフィルタ５０２などと同じ部材のもの）を設けている。つまり、光学バンドパスフィルタ５３０の開口部分を、光学バンドパスフィルタ５０２などと同じ部材のものに置き換えたものである。この場合、第７例とは異なり、赤外画素には特別な波長を吸収または反射するカラーフィルタを必要としない。
【０１８９】
なお、赤外画素上に特別な波長を吸収または反射するカラーフィルタを設けないと、構造的にデバイスの製造が難しくなる場合（たとえばオンチップのマイクロレンズの配置などのため）には、製造上使用し易く、少なくとも被写体に照射する特定波長光を透過する材料を代わりに設けてもよい。たとえば、可視光帯域から近赤外光帯域に対して部分的に透過しない色フィルタ（Ｒ／Ｇ／Ｂ／シアン／マゼンタなど）のように吸収帯域が存在しつつ前記特定波長光を透過する材料、または、少なくとも特定波長を含む可視光帯から赤外光帯に全域通過の白色フィルタＷを設けるとよい。
【０１９０】
＜特殊な光学バンドパスフィルタの詳細＞
図１５〜図１６は、特定波長を中心波長とする狭帯域のバンドパス特性を持つ光学部材（特殊な光学バンドパスフィルタなど）の製法を説明する図である。ここで、図１５は、バンドパス特性を持つ光学部材の製法の基本的な考え方を示す図である。図１６は、バンドパス特性を持つ光学部材の具体例を説明する図である。
【０１９１】
光学バンドパスフィルタ５０２や光学バンドパスフィルタ５０６などのバンドパス特性を持つ光学部材は、特定波長光には透過特性を持つが特定波長光以外には透過特性を持たないようにする必要がある。可視光帯も透過させる形態の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８などでは、可視光と特定波長光には透過特性を持つが可視光と特定波長光以外には透過特性を持たないようにする必要がある。何れも、特定波長光の部分は、特定波長光の狭い帯域だけを透過する狭帯域性を持つことが必要である。
【０１９２】
このような特定波長光に関して狭帯域性を持つものを１種の光学フィルタで実現することは困難である。たとえば、通常のいわゆる赤外カットフィルタでは吸収材料の場合には赤外帯域で任意の波長帯域だけを急峻に透過するものはなく、また多層膜により赤外光の不透過を実現する場合でも赤外帯域で特定波長光の狭い帯域だけを透過する多層膜の設計は困難である。
【０１９３】
この対策として、特定波長光のみを透過するバンドパス特性を持つ形態の光学部材に関しては、図１５（１）に示すように、特定波長λ０近傍をカットオフとするハイパスフィルタ５５２と、特定波長λ０近傍をカットオフとするローパスフィルタ５５４とを組み合わせた光学バンドパスフィルタ５５１にする。
【０１９４】
図１５（１−１）に示すように、ハイパスフィルタ５５２は、特定波長λ０に対して短波長側の（特定波長λ０よりも少し波長の短い）波長λ１をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９４０ｎｍよりも１０ｎｍ程度短波長側（λ１＝９３０ｎｍ近傍）をカットオフとして、それよりも長波長側を透過するようなものとする。なお、ハイパスフィルタ５５２は、ローパスフィルタ５５４でカットされることになる波長λ２よりも長波長側については透過、不透過は問わない。
【０１９５】
図１５（１−２）に示すように、ローパスフィルタ５５４は、特定波長λ０に対して長波長側の（特定波長λ０よりも少し波長の長い）波長λ２をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９４０ｎｍよりも１０ｎｍ程度長波長側（λ２＝９５０ｎｍ近傍）をカットオフとして、それよりも短波長側を透過するようなものとする。なお、ローパスフィルタ５５４は、ハイパスフィルタ５５２でカットされることになる波長λ１よりも短波長側については透過、不透過は問わない。
【０１９６】
このようなハイパスフィルタ５５２とローパスフィルタ５５４を組み合わせて１つの光学部材である光学バンドパスフィルタ５５１にすれば、図１５（１−３）に示すように、特定波長λ０を中心とし、低波長側は波長λ１をカットオフとし、長波長側は波長λ０をカットオフとするバンドパス特性を持つようになる。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９３０ｎｍ近傍以下では不透過で、９３０ｎｍ近傍から９５０ｎｍ近傍までは透過で、９５０ｎｍ近傍以上の波長では不透過な光学バンドパスフィルタになる。
【０１９７】
可視光と特定波長光を透過するバンドパス特性を持つ形態の光学部材に関しては、図１５（２）に示すように、特殊なハイパスフィルタ５５６と、特殊なローパスフィルタ５５８とを組み合わせた光学バンドパスフィルタ５５５にする。
【０１９８】
図１５（２−１）に示すように、ハイパスフィルタ５５６は、可視光帯（波長λ３〜波長λ４）は透過特性を持つとともに、特定波長λ０に対して短波長側の（特定波長λ０よりも少し波長の短い）波長λ１をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、波長λ３から波長λ４までは透過特性を持つことに加えて、９４０ｎｍよりも１０ｎｍ程度短波長側（λ１＝９３０ｎｍ近傍）をカットオフとして、それよりも長波長側を透過するようなものとする。なお、ハイパスフィルタ５５６は、ローパスフィルタ５５４でカットされることになる波長λ２よりも長波長側については透過、不透過は問わない。
【０１９９】
図１５（２−２）に示すように、ローパスフィルタ５５８は、可視光帯（波長λ３〜波長λ４）は透過特性を持つとともに、特定波長λ０に対して長波長側の（特定波長λ０よりも少し波長の長い）波長λ２をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、波長λ３から波長λ４までは透過特性を持つことに加えて、９４０ｎｍよりも１０ｎｍ程度長波長側（λ２＝９５０ｎｍ近傍）をカットオフとして、それよりも短波長側を透過するようなものとする。なお、ローパスフィルタ５５８は、ハイパスフィルタ５５２でカットされることになる波長λ１よりも短波長側（ただし波長λ３から波長λ４までの可視光帯は除く）については透過、不透過は問わない。
【０２００】
このようなハイパスフィルタ５５６とローパスフィルタ５５８を組み合わせて１つの光学部材である光学バンドパスフィルタ５５５にすれば、図１５（２−３）に示すように、特定波長λ０を中心とし、低波長側は波長λ１をカットオフとし、長波長側は波長λ０をカットオフとするバンドパス特性を持つようになることに加えて、波長λ３から波長λ４までの可視光帯にも透過特性を持つようになる。なお、波長λ３から波長λ４までの可視光帯に関しては、図１５（１）に示した波長λ１から波長λ２までの特定波長についての考え方と同様に、ハイパスフィルタ５５６とローパスフィルタ５５８の組み合わせで短波長側のカットオフλ３と長波長側のカットオフλ４が決まればよく、フィルタ５５６，５５８の何れに可視光用のローパス特性を持たせ、何れに可視光用のハイパス特性を持たせるかの組合せは自由である。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９３０ｎｍ近傍以下では不透過（ただし波長λ３から波長λ４までの可視光帯は除く）で、９３０ｎｍ近傍から９５０ｎｍ近傍までは透過で、９５０ｎｍ近傍以上の波長では不透過な光学バンドパスフィルタになる。
【０２０１】
ハイパスフィルタ５５２およびローパスフィルタ５５４並びにハイパスフィルタ５５６およびローパスフィルタ５５８のそれぞれは、たとえば多層膜により構成されたものを使用すればよい。これらは、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた構造を採用するとよい。すなわち、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光（電磁波）の内の本来の検知目的外である波長成分（本例では特定波長光や可視光）を反射させ残り（本例では特定波長光や可視光）を通過させる特性を持った積層部材としての誘電体積層膜を利用した構造を持つものとするのがよい。
【０２０２】
このような光学バンドパスフィルタ５５１や光学バンドパスフィルタ５５５は、従来の赤外光を利用した測距センサでは波長の厳密な特定が必要がないために利用されることはなく、また可視光のカメラシステムにおいても同様に利用されることはなかった。また、１種の光学フィルタで非常に急峻な所望の特殊なバンドパス特性を得ることは難しいのが現実である。これに対して、第２実施形態では、前述のようなハイパス特性とローパス特性の組合せで構成することで、特定波長λ０を中心とする非常に狭帯域の（急峻な）所望の特殊なバンドパス特性を比較的容易に得ることができる。
【０２０３】
図１６には、バンドパス特性を持つ光学部材の一例である光学バンドパスフィルタ５５５の具体例が示されている。ここでは、太陽光の地上到達光と特殊なバンドパスフィルタと被写体に照射する光源の分光特性関係を示している。説明のために、これら３つの分光特性グラフの縦軸スケールは相対的なスケールを変えている。
【０２０４】
図中の矢指線ａは太陽光の地上到達波長特性であり、矢指線ｂは光学バンドパスフィルタ５５５の透過率波長特性であり、特定波長である太陽光吸収波長の９４０ｎｍ近傍の矢指線ｃは被写体に照射する光源（たとえばＬＥＤ）の波長特性である。図の例では、可視光帯域と９４０ｎｍ近傍の光だけが光学バンドパスフィルタ５５５を透過できるので、画素に到達する赤外成分の光は非常に少なくなる。また、９４０ｎｍにピークを持つＬＥＤ光源を被写体に照射すると、９４０ｎｍ近傍の光は透過できるので９４０ｎｍ近傍に存在する光としては太陽光に比べて被写体に照射する光源の成分が多くを占めることになる。なお、この図の特性は一例であり、光学バンドパスフィルタ５５５の透過バンド幅やＬＥＤ光源のバンド幅はこれに限定されることはない。
【０２０５】
〔問題事例〕
図１７は、太陽光が地上に到達する波長成分（電磁波エネルギレベル）を説明する図である。米国のNational Renewable Energy LaboratoryによりReference Solar Spectral Irradiance: ASTM G-173 に公開されているデータから、太陽光が地上に到達する波長成分には複数の吸収波長帯域が存在することが分かる。具体的には、図１７に示すように、７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍で吸収が大きな値となっている。
【０２０６】
一般的なシリコンが光電変換感度を有する１１００ｎｍ程度までの波長帯域では７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍の吸収波長帯域に着目すればよい。ブラックシリコンと呼ばれるシリコンをベースとして感度の向上と赤外帯域までの感度延長を可能とする材料の光電変換感度を有しない波長は１４００ｎｍ以上にまで拡大されるので、１４００ｎｍ近傍の吸収波長帯域にも着目した方がよい。
【０２０７】
ここで、昼間の屋外では、図１７に示したような太陽光の成分が検知される。図１７からも分かるように可視広帯域では太陽光は非常に強く、また赤外帯域においても可視光よりはレベルは低いが非常に大きい光であることに変わりはない。測距カメラシステムを考えた場合、被写体を測距するには被写体に照射する測距用の赤外光源を被写体に照らし、その戻り光を受光することで実現するが、赤外光帯域においても光が強く、たとえば可視光除去フィルタを用いた撮像素子に８５０ｎｍの一般的なＬＥＤ光源に用いても、太陽光の７５０ｎｍから１１００（あるいは１４００）ｎｍまでの光量積算値はノイズ成分となり、信号成分のＬＥＤ光に比べて非常に大きいものとなることが昼間屋外での測距を困難とする原因といえる。
【０２０８】
図１８は、赤外カットフィルタの特性例を示す図である。図では、地上太陽光の吸収波長特性と重ねて示している。図示の赤外カットフィルタは、株式会社ケンコー光学の「ＩＲＣ−６５Ｓ」と「ＩＲＣ−６５Ｌ」である。何れも、可視光を透過し、７００〜８００ｎｍ付近の近赤外光をカットするフィルタであり、カット率５０％のポイントが６５０ｎｍ近傍に設定されている。しかしながら、図から分かるように、「ＩＲＣ−６５Ｓ」の場合は、８５０ｎｍ以上では副透過帯が発生しており、この副透過帯ではある程度の透過性を持ってしまう。
【０２０９】
したがって、このような副透過帯を持つ赤外カットフィルタ（ＩＲＣ−６５Ｓなど）でカットできない８５０ｎｍ以上の太陽光がイメージセンサで光電変換されノイズ成分となる。たとえば、ＩＲＣ−６５Ｓの場合（簡単のため９００ｎｍ以上でほぼ透過とする）、太陽光エネルギ（９００ｎｍ〜１２００ｎｍ：図中の枠線ａの分）の積算値Ｐは１５３［Ｗ／ｍ＾２］となる。この状態で光源波長を、太陽光の吸収波長帯を除く８５０ｎｍ以上のどこを使ったとしても、ノイズ成分は多いので根本的なＳ／Ｎは改善し難い。
【０２１０】
たとえば、距離計測の際に、近赤外光を物体へ照射し、その反射光をセンサで受光することで物体距離の検出を行なう。たとえば、近赤外光として主に８５０ｎｍ以上が用いられている。アクティブ計測法には三角測量法とＴＯＦ法（Time Of Flight）などがあるが、何れも近赤外光を被写体に照射することで距離情報を得る。
【０２１１】
ここで、屋外で距離計測を行なう際には、太陽光による外乱ノイズが大きな問題となる。その対策として、信号成分を増やすために強力な赤外光源を用意し照射する方法、「赤外物体反射光＋外光」用の受光画素と「外光」画素の２つを用意し差分をとる方法などが考えられる。
【０２１２】
しかしながら、たとえば１０万Ｌｕｘもある強力な太陽光による根本的な外乱ノイズが存在しているため、本質的にはＳ／Ｎ比を高くすることは困難である。また、太陽光が強力なためセンサの飽和が生じてしまうこともある。
【０２１３】
〔第２実施形態の事例〕
一方、屋外では地上に到達する太陽光は７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の光が大気中に吸収されているので、これらの波長に光源波長を整合させると、屋外での太陽光による赤外帯域のノイズ成分を避けることができる。これらの特定波長の光を発光部３２２から被写体に照射し、その反射光を透過する光学バンドパスフィルタ５０６を設けることにより直接的な外乱によるＳ／Ｎ比（Signal-Noise ratio：信号雑音比）を大幅に改善できる。
【０２１４】
この点は第１実施形態でも同様であるが、光源波長を特定波長に整合させただけでは、赤外光成分の残りの分が検知されるので、特定波長に由来する正確な情報を得るには差分処理などの比較処理がほぼ必須となるし、飽和の問題が残る。
【０２１５】
第２実施形態は、この点に着目してなされており、赤外光領域に関しては、光源波長を特定波長に整合させる第１実施形態の仕組みに加えて、特定波長を中心とするバンドパス特性を持つ光学部材を撮像光学経路上に配置することで、赤外画素では特定波長のみを検知するようにしている。
【０２１６】
赤外帯域のノイズ成分をカットするが光源の特定波長帯域の波長成分は透過させる特殊な赤外カットフィルタ光学素子の一例として光学バンドパスフィルタ５０６などを設けることで、特定波長以外の成分が検知部で検知されることを回避できる。特定波長光以外の不要な入射太陽光成分が減少することで飽和の問題も解消される。
【０２１７】
固体撮像素子３１４あるいは撮像システムをこのような構成とすることで、屋外における外乱ノイズの極めて少ない信号を得ることができるし、不要な入射太陽光が減少することで受光素子の飽和の問題も回避できる。室内はもちろん太陽光下でも精度の高い距離計測や物体検出ができるようになる。
【０２１８】
特定波長を中心とするバンドパス特性を持つ光学部材を固体撮像装置（特に固体撮像素子）と一体化する構成にすれば、単一の固体撮像素子にてモノクロ画像やカラー画像と赤外情報を同時に取得することができる。
【０２１９】
モノクロ画像やカラー画像と、被写体に照射する光源による特定波長光に由来する測定画像を同時に取得することができ、たとえば被写体に照射した特定波長光に基づく信号を用いて昼間の屋外でも測距が可能となる。
【０２２０】
なお、アクティブ計測法としては、三角測量法やＴＯＦ法（Time Of Flight）などがあるが、本実施形態では何れの方式でもよい。また、光源の駆動、光源と受光光学系の構成、取得した光信号の処理方法は、どのような方式にも適用できる。
【０２２１】
たとえば特定波長を９４０ｎｍとしたＴＯＦ方式の場合、たとえば９４０ｎｍのＬＥＤ光源を用い、固体撮像素子３１４には、赤、緑、青、赤外の４種類の画素を設ける。光源を高速に変調し、固体撮像素子３１４では、赤、緑、青の各色画素では従来の撮影と同様な駆動方式にて光電変換の信号を出力し、赤外画素では光源で変調した特定波長光に基づく測定画像を取得する。光源から発した特定波長光が変被写体で反射され固体撮像素子３１４に戻るまでの時間から距離を導くための測距演算については、たとえば特開２００９−１４４５９号公報に記載の方法などを適用すればよい。
【０２２２】
＜比較例との対比＞
［第１比較例］
特開２００３−１８５４１２号公報に記載の仕組みを第１比較例とする。第１比較例では、補助光を照射し、「ＲＢＧ画素＋不可視光画素」で受光する構成としている。距離計測の原理は、物体の反射光輝度が距離の２乗に反比例する物理現象を利用するが、第１比較例に記載のように、物体により反射率が異なることから、物体の異なる反射率の違いを補正するようにしている。また、第１比較例では、自然光画像や対象の材質（反射特性）情報などを同時に参照して対象の表面の色情報から対象の反射係数を推定する。しかしながら、実際には物体表面の色情報だけでは物体を特定することは困難であり、物体を特定するには形状や色なども頼りにした信号処理による画像認識が必要となる。
【０２２３】
また、物体が特定できたとしても、生体など自然物は個体ごとに表面状態は異なるため反射率の特定は困難である。この処理はリアルタイム性を実現することが困難であり、たとえば毎秒１０〜３０枚のフレームレートで奥行き情報を獲得し続けることは困難である。仮に、リアルタイム性が実現できたとしても、前述のように物体の反射率特定が困難であるので実現は難しい。
【０２２４】
［第２比較例］
三角測量法を適用した特開平１１−１５３４０８号公報に記載の仕組みを第２比較例とする。第２比較例では、パルス状の光束を繰り返し投射し、測距対象物からの反射光を受光する受光手段と、有効な信号蓄積時間の間、受光手段にて得られる信号電流の蓄積を行なう信号電流蓄積手段にて蓄積された信号を用いて対象物までの距離を算出する。測距対象物の状況により、信号電流を蓄積するところの有効な信号蓄積時間の最大値を変更する蓄積時間可変手段を有している。さらに測距対象物の明るさを判定し、判定結果に応じて有効な信号蓄積時間の最大値を変更するようにしている。具体的には、ショットノイズの影響でＳ／Ｎ比が低下するような明るさ（所定の明るさよりも明るいと判定された場合）であれば、有効な信号蓄積時間の最大値を長く設定し、微弱な信号時の有効な信号蓄積時間を増やしてＳ／Ｎ比を改善するようにし、ショットノイズの影響が無視できる暗い状況では、有効な信号蓄積時間の最大値を短く設定して測距時間を短縮するようにしている。
【０２２５】
第２比較例では、ショットノイズＮ２の影響によるＳ／Ｎ悪化に対してショットノイズの特性に着目している。すなわち、信号成分は信号蓄積時間に比例して大きくなるが、ショットノイズ成分は信号蓄積時間の平方根に比例することから、信号蓄積時間を延ばすことにより、Ｓ／Ｎ比は信号蓄積時間の平方根にほぼ比例して徐々に改善されることによりＳ／Ｎの改善を実現しようとしている。しかしながら、通常は撮影環境中に信号光の波長と同じ成分の外乱光が含まれているため、「信号光＋外乱光Ｎ３」がここでいう信号光となる。外乱光成分Ｎ３を含めたＳ／ＮはＳ／（√（Ｎ１＾２＋Ｎ２＾２）＋Ｎ３）の関係となる。Ｎ１は回路ノイズのレベルである。
【０２２６】
また、屋外では可視光から赤外光までの幅広い光が存在しているので、外乱光と信号光のＳ／Ｎは長時間信号蓄積をしても比例関係にあるため、想定通りの改善効果が得られず、露光時間のコントロールではＳ／Ｎの改善は困難である。屋外の外乱光は信号光よりも桁違いに大きい値であり、これに対抗するには信号光を強力にするほかなく、非常に強力な光源が必要となり大型化や大消費電力を伴う。
【０２２７】
［第３比較例］
光伝搬飛行時間方式（Time Of Fright）を適用した特開２００９−１４４５９号公報に記載の仕組みを第３比較例とする。第３比較例では、太陽光が可視帯域（５００ｎｍ程度）にピークを有するのに対し、たとえば８７０ｎｍにピークを有する近赤外発光ＬＥＤを用いて、かつ、可視帯域の光を適当な可視帯域カットフィルタで除去する。これにより太陽光に含まれる最も強い光（可視光成分）に比べて光が少ない赤外光を利用することでノイズ成分の低減を実現している。
【０２２８】
ここで、第３比較例において、可視光画素上には不可視光除去フィルタ、不可視光画素には可視光除去フィルタを設ける構成を採った場合（請求項７、図１２の構成）、屋外における太陽光は非常に強い。そのため補助光に８７０ｎｍの赤外光を用いても受光される可視光を除いた赤外光帯域成分の積算値は補助光に比較できないくらい大きいことに変わりはない。第３比較例の技術を用いてもノイズ成分となる根本的な太陽光成分は減っていないので、計測に十分な補助光の反射成分（信号光）を得ることは困難である。仮に太陽光の光量に比べて十分な補助光を用いた場合には、信号光を得ることはできるが、その代わりに補助光源は非常に大出力が必要になることから大型化や大消費電力が避けられない。これはカメラシステムの大型化または使用時間が短縮に繋がるため実現は困難である。
【０２２９】
［第４比較例］
照射パターン方式を適用した特開平７−２１８２３２号公報に記載の仕組みを第４比較例とする。第４比較例では、光学式三次元形状計測装置が開示されているが、この装置は、被検物の表面に所定のパターン像を投影するための照射光学系と、被検物の表面に投影されたパターン像を観察するための観察光学系とを備え、観察されたパターン像の変化に基づいて被検物の表面形状を計測する。照射光学系は、その光軸に沿って複数の合焦面にそれぞれ所定のパターン像を形成する合焦面分割手段を備えている。
【０２３０】
しかしながら、第４比較例の場合、照射パターンの変形状態を画像認識で取得しパターンの変形状態から奥行き情報を得るために異なるタイミングで複数の合焦面にパターンの照射と画像認識を必要とすることから、画素数が大きい場合においては演算処理が非常に大きくなりリアルタイム計測が困難である。これを避けるために同時に複数の合焦面に対して所定のパターンを形成すると異なる合焦面間のパターンを分離することができなくなり認識することが困難となる。
【０２３１】
［対比］
第１比較例〜第４比較例の何れも、屋外で使用する際には太陽光による外乱ノイズが大きな問題となる。太陽光は可視光成分に比べて赤外光成分は光強度が少ないことを利用して、赤外光領域の光を光源として利用するようにしているが、地上に到達する太陽光の成分とそのエネルギ量を考えると、十分な信号を検出することは非常に困難である。
【０２３２】
たとえば第３比較例に記載のような８７０ｎｍのＬＥＤ光源を使ったとしても８７０ｎｍ以外の太陽光ノイズ成分が多いので根本的なＳ／Ｎは改善し難い。２画素差分で太陽光ノイズ成分をキャンセルする方法を適用したとしても、一旦光電変換されてしまった太陽光のノイズ成分を差分演算しても、第２比較例に記載のように光電変換時に信号量に伴いノイズが生じてしまうので差分演算をしても根本的に全ての成分をキャンセルできるわけではない。また、太陽光が強すぎるために受光素子が飽和してしまう。特別な回路を追加して対処する手法もあるが（たとえば特開２００８−０８９３４６号公報）、回路規模が大きくなる。
【０２３３】
一方、第２実施形態では、太陽光吸収波長と対応する特定波長の光を発する光源を使用するとともに、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を撮像光学経路上に配置するようにしたので、特定波長以外の成分を受光しないようにできる。このため、特定波長光以外の成分によるノイズの問題を回避できるし、特別な回路を使用せずに、飽和の問題も回避できる。
【０２３４】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２３５】
また、前記の実施形態は、クレーム（請求項）に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２３６】
たとえば、前記実施形態では、主に赤外光領域中の特定波長（特に太陽光の吸収波長）に着目して説明したが、第２実施形態の第１例の冒頭に説明したように、特定波長は赤外光領域中のものに限らない。また、特定波長を利用した物理情報の取得の一例として、距離情報や物体の３次元画像を取得する例を説明したが、特定波長を利用した物理情報の取得はこれらに限らない。
【符号の説明】
【０２３７】
３００…撮像装置、３０２…撮影光学系、３０４…光学ローパスフィルタ、３１０…撮像部、３１２…色フィルタ群、３１４…固体撮像素子、３１８…マイクロレンズ、３１９…保護層、３２０…駆動制御部、３２２…発光部、３３０…撮像信号処理部、３４０…画像信号処理部、３８０…表示部、３９０…データ記録部、５００…光学フィルタ部、５０２，５０４，５０６，５０８…光学バンドパスフィルタ、５１０，５２０…色フィルタ部、５１２…可視光カットフィルタ、５３０，５４０，５５１，５５５…光学バンドパスフィルタ、５５２，５５６…ハイパスフィルタ、５５４，５５８…ローパスフィルタ５５４
【技術分野】
【０００１】
本発明は、物理情報取得装置、固体撮像装置、物理情報取得方法に関する。
【背景技術】
【０００２】
野外での太陽光や室内での照明光などの通常光源とは別の光源（別光源、測定光源）を使用して、別光源から予め定められた波長の光を物体に照射して、その反射光を検知し、検知された検知情報に基づいて各種の信号処理を行なう仕組みが知られている（特許文献１〜５を参照）。
【０００３】
たとえば、アクティブ計測法では、近赤外光を物体へ照射し、その反射光をセンサで受光することで物体距離の検出や被写体の３次元画像を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−２１８２３２号公報
【特許文献２】特開平１１−１５３４０８号公報
【特許文献３】特開２００３−１８５４１２号公報
【特許文献４】特開２００９−０１４４５９号公報
【特許文献５】特表２００９−５２４０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の仕組みでは、別光源から発せられた光に対して、通常光源の光が外乱となってしまい、適正な情報取得ができないことがあった。
【０００６】
典型的な例としては、屋外で使用する際には太陽光による外乱ノイズが大きな問題となる。極端な場合には、太陽光が強すぎるために受光素子が飽和してしまうこともある。
【０００７】
これらの対策としては、別光源から発する光量を大きくする、差分をとることで太陽光ノイズ成分をキャンセルする、飽和しないようにする特別な回路を追加するなどが考えられているが、何れも問題がある。たとえば、強力な太陽光による根本的な外乱ノイズが存在しているため、本質的にＳ／Ｎを高くすることは困難であるし、回路付加で飽和を防止する場合には回路規模が大きくなってしまう。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、別光源から発せられた光に由来する情報を取得する際に、より簡易な方法で、通常光源に起因する外乱ノイズの影響を緩和することのできる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、電磁波の少なくとも第１の波長領域に関して、第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、特定波長と対応した波長の電磁波を発する電磁波出力部と、特定波長の電磁波を検知する第１の検知部と、第１の検知部から得られた検知情報に基づいて信号処理を行なう信号処理部とを備えるものとする。そして、その特定波長と関係する光を検知することで撮像（別光源に由来する情報の取得）を行なう。「特定波長と対応した波長」とは、典型的には、特定波長と同じ波長であるが、多少ずれていてもよい。
【００１０】
つまり、一光源として環境側の持っている電磁波のエネルギが低い部分に測定用の光源の波長を整合させて検出を行なうのである。なお、以下では、「一光源として環境側の持っている電磁波のエネルギが低い」を、「分光特性が低い」や「分光分布が低い」と称することもある。また、一光源としての環境側の光源（たとえば太陽光や照明光など）を通常光源と称することもある。
【００１１】
そして、特定波長と対応した波長の（以下単に「特定波長の」とも記載する）電磁波を物体に照射し、物体で反射した特定波長の電磁波を検知部で検知し、検知部から得られた検知情報に基づき信号処理を行なう。ここでの信号処理は、少なくとも、特定波長の電磁波に由来する情報を取得するものである。
【００１２】
典型的な構成としては、画像取得対象の物体に対して照射光を照射する電磁波照射部と、電磁波照射部による照射光によって物体が照らされた状態の画像成分の電荷を検知する第１の検知部と、物体が自然光のみに照らされた状態の画像成分の電荷を検知する第２の検知部と、第１の検知部と第２の検知部のそれぞれから得られた検知情報に基づいて信号処理を行なう信号処理部とを備えたものとする。ここで、電磁波照射部は、可視光の波長領域を除く波長領域における一部の特定波長の光を発するものとする。
【００１３】
電磁波エネルギが他の波長よりも低い特定波長の電磁波を物体に照射してその反射光を検知すれば、少なくとも、特定波長の成分が第１の波長領域の通常光源の成分に埋もれずに検知される。したがって、特定波長の電磁波を物体に照射したときの検知情報と特定波長の電磁波を物体に照射しないときの検知情報とを比較することで、通常光源に起因する外乱ノイズの影響が緩和された特定波長の電磁波に由来する情報を取得できる。
【００１４】
ただし、これだけでは、特定波長の成分だけでなく通常光源の成分も同時に検知されるので、通常光源の光量が強い場合には、検知部の飽和が起こり得る。
【００１５】
その対策として、好ましくは、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を、撮像光学経路上に配置する。こうすることで、特定波長の成分だけを検知できるようになり、たとえ通常光源の光量が強い場合であっても、その影響を受けない。
【００１６】
つまり、本発明では、通常光源（通常の電磁波）の内で電磁波エネルギが他の波長よりも低い特定波長と対応した（典型的には同じ）波長の特定波長波を物体に照射し、物体で反射した特定波長波を検知部で検知し、検知部から得られた検知情報に基づいて特定波長波に由来する情報を取得する。好ましくは、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を撮像光学経路上に配置する。特定波長波を物体に照射してその反射光を検知すれば、特定波長成分が通常光源の成分に埋もれずに検知される。特定波長波を物体に照射したときと照射しないときの各検知情報を比較することで、通常光源に起因する外乱ノイズの影響が緩和された特定波長波に由来する情報を取得できる。加えて、バンドパス特性を持つ光学部材を併用すれば、特定波長の成分だけを検知できるようになり、通常光源の光量が強い場合であっても、その影響を受けないので飽和の問題を回避できる。
【発明の効果】
【００１７】
本発明の一態様によれば、電磁波エネルギが他の波長よりも低い特定波長と対応した波長の電磁波を物体に照射するという簡易な方法により、通常光源に起因する外乱ノイズの影響が緩和された特定波長の電磁波に由来する情報を取得できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態でカラー画像を撮像する際に採用する色分離フィルタの画素配列の一例を示す図である。
【図２】色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。
【図３】色フィルタ群をなす各色フィルタの特性例を示す図である。
【図４】物理情報取得装置の一例である撮像装置の概略構成を示す図である。
【図５】画像信号処理部を説明する図である。
【図６】第２実施形態の第１例を示す図である。
【図７】第２実施形態の第２例を示す図である。
【図８】第２実施形態の第２例に対する変形例を示す図である。
【図９】第２実施形態の第３例を示す図である。
【図１０】第２実施形態の第４例を示す図である。
【図１１】第２実施形態の第５例を示す図である。
【図１２】第２実施形態の第６例を示す図である。
【図１３】第２実施形態の第７例を示す図である。
【図１４】第２実施形態の第８例を示す図である。
【図１５】特定波長を中心波長とする狭帯域のバンドパス特性を持つ光学部材の製法の基本的な考え方を示す図である。
【図１６】バンドパス特性を持つ光学部材の具体例を説明する図である。
【図１７】太陽光が地上に到達する波長成分を説明する図である。
【図１８】赤外カットフィルタの特性例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００２０】
なお、説明は以下の順序で行なう。
１．基本概念（本実施形態の基本、色分離フィルタ、フィルタの分光特性）
２．撮像装置
３．第１実施形態（高感度画像の取得、赤外光画像の取得、距離計測）
４．第２実施形態
第１例：赤外光領域内の任意の特定波長成分のみを透過
第２例：赤外光領域内の任意の特定波長成分と可視光のみを透過
第３例：赤外光領域内の太陽光吸収波長成分のみを透過（赤外光バンドパス）
第４例：赤外光領域内の太陽光吸収波長成分と可視光のみを透過
（可視光＋赤外光バンドパス）
第５例：「第２例または第４例」＋カラー撮像対応
（オンチップ赤外光フィルタあり）
第６例：「第２例または第４例」＋カラー撮像対応
（オンチップ赤外光フィルタなし）
第７例：可視光画素は赤外カットフィルタ、赤外画素はオンチップフィルタ
第８例：可視光画素は赤外カットフィルタ、赤外画素は赤外バンドパス
５．特殊な光学バンドパスフィルタの詳細
６．比較例との対比
【００２１】
＜基本概念＞
［本実施形態の基本］
撮像環境下においては、光源（通常光源）の分光波長特性は均一ではなく、エネルギレベルが他の波長に比べて相対的に低い波長（低エネルギ波長）が存在する場合がある。このような場合、この低エネルギ波長に別光源の波長を整合させて撮像を行なうと、別光源に由来する情報としては、通常光源に由来するノイズ成分の影響を緩和できる。
【００２２】
本実施形態の仕組みは、この点に着目してなされており、低エネルギ波長を特定波長とし、特定波長と対応した（典型的には同じ）波長の光を被写体に照射する。そして、その特定波長と関係する光を検知することで撮像（別光源に由来する情報の取得）を行なう。
【００２３】
さらに好ましくは、別光源の特定波長帯域（や可視光帯）の波長成分のみを透過させる特定波長を中心とするバンドパス特性を持つ光学部材を撮像光学経路上に配置することも併用する。この場合、特定波長以外の成分が検知部で検知されることが回避されるので、特定波長以外の成分によるノイズの影響をより緩和できるし、飽和の問題も回避できる。
【００２４】
別光源から被写体に特定波長光を照射しない通常光源のみの状態で撮像される画像を通常画像と称し、別光源から被写体に特定波長光を照射した状態で撮像される画像を測定画像と称する。
【００２５】
本実施形態の仕組み理解を容易にするため、以下では、特段の断りのない限り、少なくとも赤外光を別光源に利用した反射光による画像を取得する場合で説明する。好ましくは、反射光による画像と併せて、自然光による画像（モノクロ、カラーは不問）も取得する構成にするのがよい。
【００２６】
［色分離フィルタ］
図１は、本実施形態でカラー画像を撮像する際に採用する色分離フィルタの画素配列（色配置）の一例を示す図である。ここで、図１は、色分離フィルタの色配置例の基本構造を示す図である。
【００２７】
色分離フィルタの色配置としては、基本的には、赤外光画像（反射光によるもの）と可視光カラー画像とをそれぞれ独立に求めることを常時可能にする配置になっている。たとえば、図１に示すように、第１の波長領域成分用の色フィルタＣ１と、第１の波長領域成分を含まない第２の波長領域成分用の色フィルタＣ２，Ｃ３，Ｃ４（何れも選択的な特定波長領域である第２の波長領域成分を透過）の３つの波長領域（色成分）用のものといった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。
【００２８】
本例の場合、第２の波長領域成分は可視光領域成分となる。Ｃ１，Ｃ２，Ｃ３，Ｃ４を纏めて色フィルタ１４と称し、それに対応する検知部を画素１２と称する。赤色画素１２Ｒ、緑色画素１２Ｇ、および青色画素１２Ｂを纏めて可視光検知画素１２VLと称する。可視光検知画素１２VLは、ＲＧＢ信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。第１の波長領域成分が赤外光の場合は、色フィルタＣ１と対応する画素１２を赤外画素１２IRと称する。
【００２９】
色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応するフォトダイオードなどの検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１が配される検知部が第１の検知部であり、色フィルタＣ２，Ｃ３，Ｃ４が配される検知部が第２の検知部である。また、色フィルタＣ２，Ｃ３，Ｃ４が配される検知部は、カラー画像取得のために第２の波長領域（可視光領域）を、さらに色分離に対応するように、波長分離して検知するためのものである。
【００３０】
色フィルタＣ２，Ｃ３，Ｃ４は、理想的には、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。もしくは、色フィルタＣ２，Ｃ３，Ｃ４は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。
【００３１】
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。
【００３２】
透過率が“略１”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
【００３３】
また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。
【００３４】
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、第１実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。もちろん、第２の波長領域に関しては、好ましくは、赤外光成分を排除する仕組みを採っておくのが好ましい。
【００３５】
一方、色フィルタＣ１は、この色フィルタＣ１が配された画素１２が、可視光以外の成分（不可視光成分）の内のより長波長側の成分（典型例は赤外光成分）を検知する画素（典型例は赤外画素１２IR）として機能するようにする特性を持っていればよい。つまり、少なくとも第２の波長領域（本例では可視光）に対して長波長側の第１の波長領域（本例では赤外光）の成分を透過するものであればよく、第１の手法として、色フィルタＣ２，Ｃ３，Ｃ４を通過する第２の波長領域成分（つまり可視光成分）を通過させずに第１の波長領域（本例では赤外光）のみを通過させるもの（いわゆる可視光カットフィルタ）であってもよいし、第２の手法として、第２の波長領域（本例では可視光）から第１の波長領域（本例では赤外光）までの全域の成分を通過させるものであってもよい。
【００３６】
第２の手法を採る場合、色フィルタＣ１は、少なくとも、第１の検知部を色フィルタＣ２，Ｃ３，Ｃ４の第２の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第２の波長領域（本例では可視光）から赤外光領域までの全域の成分を通過させるものであるのがよい。第１実施形態では、このような、色フィルタＣ１を全域通過フィルタと称する。
【００３７】
たとえば、第１の検知部が、可視光帯である青色から赤色までに加えて赤外光までの光に対しても感度を持つようにする全域通過型の白色フィルタを色フィルタＣ１として用いるのがよい。第２の手法の場合、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ１としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、フィルタＣ１を通して第１の検知部で検知すると称する。
【００３８】
色フィルタＣ２，Ｃ３，Ｃ４が配される画素の第２の検知部（たとえばフォトダイオードなどの検知部）は、少なくとも可視光に感度を有していればよく、近赤外光に感度を有する必要はなく、むしろ、色再現性の観点では、可視光成分以外についてはできるだけ感度が低いことが望ましい。
【００３９】
色フィルタＣ１が配されるフォトダイオードなどで構成される第１の検知部は、第１実施形態の場合、少なくとも赤外光（近赤外光を含む）に感度を有することが必要である。また、第２実施形態では、赤外光領域全体に感度を持つことは不要で、少なくとも特定波長に感度を有していればよい。「特定波長」の詳細については後述する。なお、前提として、第１の検知部では、不可視光領域成分の一例である赤外光を検知する必要があるので、第１の検知部に赤外光が入射するようにする必要があり、従来よく使われている赤外光カットフィルタを取り除いて撮像する。
【００４０】
第１の検知部は、色フィルタＣ１が赤外光のみを通過させる可視光カットフィルタである場合には可視光に感度を有する必要はないが、色フィルタＣ１が全域通過フィルタである場合には可視光にも感度を有する必要がある。
【００４１】
色フィルタＣ１が配される第１の検知部は、色フィルタＣ１が配される第１の検知部により得られる第１の波長領域の成分に関わる物理情報（本例では赤外光画像や広波長領域画像）再現用として使用されるだけでなく、色フィルタＣ２，Ｃ３，Ｃ４が配される第２の検知部により得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタＣ１は、色フィルタＣ２，Ｃ３，Ｃ４に対しての補正フィルタとして機能することになる。
【００４２】
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ２，Ｃ３，Ｃ４が配される第２の検知部から第２の波長領域の信号成分ＳC2，ＳC3，ＳC4を、この第２の波長領域の成分とは異なる第１の波長領域（赤外）の成分から事実上分離して検知する。また、少なくとも第１の波長領域（赤外）の成分を含む所定波長領域（赤外のみまたは全域）の信号成分ＳC1をさらに別の第１の検知部で検知する。
【００４３】
また、さらに好ましくは、各信号成分ＳC2，ＳC3，ＳC4を、信号成分ＳC1を使ってより色再現の良好な補正演算（特に色再現補正演算と称する）を実行する、あるいはより高感度な信号となるように補正演算（特に高感度化補正演算と称する）を実行する。
【００４４】
色フィルタＣ１として赤外光成分のみを通過させるのか可視光帯も通過させるのかによって、様々な情報が得られるようになるし、補正演算を実行することで、不要な成分を低減することもできる。
【００４５】
各種の補正演算に当たっては、一例として、４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算することで、可視光カラー画像および近赤外光画像をそれぞれ独立に求めるようにするのがよい。フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することで、近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３原色出力と、可視光の影響をほぼ全く受けない近赤外光画像を形成するための出力を、それぞれ独立かつ同時に取得することができる。
【００４６】
特に、可視光カラー画像に関しては、赤外光の漏れによる色再現の悪さを演算処理にて補正することで、暗所で感度の高く、かつ色再現の良好な撮像が可能になる。赤外光に近い赤色の信号成分が大きくなる現象や映像の赤い部分で輝度が高くなる現象を緩和することもでき、特別な撮像素子や機構を用いなくても、低コストで色再現性の向上と低照度時の感度アップのバランスを取ることができる。
【００４７】
色補正演算処理や感度高感度化補正演算処理の具体的な手法については、本願明細書では説明を割愛するが、一例として、特開２００７−３２９３８０号公報や特開２００７−２８８５４９号公報などを参照するとよい。
【００４８】
図１では、色分離フィルタの繰返単位が２画素×２画素の場合で示したが、これは一例に過ぎず、実際には、たとえば可視光画像の解像度と赤外光画像の解像度の何れを優先させるかに応じて、色分離フィルタの繰返単位やＣ１〜Ｃ４の配置態様を決めればよい。
【００４９】
この際には、たとえば、従来のＲＧＢ原色フィルタやＣｙ，Ｍｇ，Ｙｅ補色フィルタ（あるいは原色フィルタＧ）の可視光の画素に広波長領域対応用の画素（広波長領域画素１２Ａ）を追加することになるが、実際には、既存のフィルタ配置をベースにして、何れかの可視光の画素を広波長領域画素１２Ａに置き換えることになる。このとき、広波長領域画素１２Ａと可視光画像の解像度に大きく寄与する波長成分の画素（たとえば緑色画素１２Ｇ）の配置態様を工夫することで、可視光画像の解像度低下を抑えることや、あるいは、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度低下を抑えることができる。
【００５０】
図１では、色フィルタＣ１を通しての第１の波長領域成分の画像だけでなく、色フィルタＣ２，Ｃ３，Ｃ４を通しての第２の波長領域成分の色フィルタＣ２，Ｃ３，Ｃ４別の画像も取得できるようにしているが、このことは必須でない。たとえば、色フィルタＣ２，Ｃ３，Ｃ４を全て同色のものにすれば単色画像を取得できる。また、色フィルタＣ２，Ｃ３，Ｃ４を全て色フィルタＣ１と同じすれば、第１の波長領域成分の画像だけの取得に対応することになる。
【００５１】
［フィルタの分光特性］
図２および図３は、波長分離の具体例を説明する図である。ここで、図２は、色フィルタ群をなす各色フィルタの光透過特性（分光特性）の基本を示した図である。図３は、色フィルタ群をなす各色フィルタの特性例を示す図である。
【００５２】
まず本例では、色フィルタ１４として、赤色近傍の波長を透過する赤（Ｒ）、緑色近傍の波長を透過する緑（Ｇ）、青色近傍の波長を透過する青（Ｂ）、これらに加え、赤外線（IR）とＲＧＢの全てを透過する白（Ｗ）（もしくは色フィルタを使用しないＡ）の各種類の分光特性を持つ色フィルタＲ，Ｇ，Ｂ，Ｗ（Ａ）によって色フィルタ群を構成した事例で示す。
【００５３】
これら色フィルタ１４の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢを全て透過するＡ（＝Ｙ＋IR）チャネルからなり、対応する赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ、赤外線（ＩＲ）とＲＧＢを全て検知する広波長領域画素１２Ａによって、４種類の分光からなるモザイク画像を得ることができる。
【００５４】
広波長領域画素１２Ａを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む広波長領域信号ＳＡとして広波長領域画素１２Ａにより測定できる。
【００５５】
なお、図２では、白色フィルタ１４Ｗの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
【００５６】
ただし、広波長領域画素１２Ａから得られる広波長領域信号ＳＡには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
【００５７】
具体的には先ず、可視光カラー画像撮像用の色フィルタ１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ１４を用いる。
【００５８】
透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。
【００５９】
通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。
【００６０】
一例として、図３（Ａ）に示すような分光感度特性のものを用いることができる。たとえば、Ｂチャネルに対応する青色フィルタ１４Ｂは、青色に相当する３８０ｎｍ〜４８０ｎｍ程度の波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応する緑色フィルタ１４Ｇは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応する赤色フィルタ１４Ｒは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。なお、これらのＲＧＢ対応の色フィルタ１４Ｒ，１４Ｇ，１４Ｂは、約７００ｎｍ以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
【００６１】
一方、Ａチャネル対応の白色フィルタ１４Ｗは、ピークは約５００ｎｍ付近であるが、ＲＧＢ成分の全ての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素１２Ａにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素１２Ａが、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにしている。
【００６２】
なお、本例では、白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにすることで広波長領域画素１２Ａにおける可視光帯のホワイトバランスを考慮しつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体も、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
【００６３】
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素１２Ａからの可視光領域のＲ，Ｇ，Ｂの成分を使って、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
【００６４】
ここで、一般的な撮像素子では、半導体層のいわゆるフォトダイオード部分などの検知部は、可視光領域成分に対する感度については十分に考慮されており、相応の感度が得られるようになっているが、赤外光成分に対する感度は十分なものとなっていない。
【００６５】
たとえば、図３から明らかなように、Ａチャネル対応の全域通過型の白色フィルタ１４Ｗが配された広波長領域画素１２Ａでは、可視光領域での感度は十分にあり、Ｒ，Ｇ，Ｂ画素の分光感度曲線より上回って大きくなっているのが分かる一方で、長波長側、特に赤外光領域での感度低下が大きいことも分かる。たとえば、広波長領域画素１２Ａの感度は、波長５００ｎｍ程度にピークがあり、さらにそれより長波長側では感度が低下して、波長７００ｎｍ以上の赤外光領域では感度が半分以下になることが分かる。このことは、固体撮像素子のデバイス構造が、可視光帯に対しては最適構造になっているかもしれないが、赤外光までの長波長まで感度がとれるような構造になっておらず、長波長側に対しては最適構造になっていないことを意味する。
【００６６】
そこで、本実施形態で使用する固体撮像素子のデバイス構造としては、好ましくはこの点を解消するべく、長波長領域でも十分な感度がとれるように、デバイスの側面から、次のような工夫を採る。具体的には、長波長用のフォトダイオードなどの検知部の有効領域（表面からの厚み）を半導体層の深い所までとして、長波長領域でも十分な感度がとれるように長波長領域の感度向上化手法を適用する。
【００６７】
ただし、単純に有効領域を厚くすると、フォトダイオード内の深いところで発生した信号電荷（キャリア、たとえば電子）が表面側まで移動するのに時間が掛かり、信号読取りに問題が発生する。この対策としては、変調ドーピングをするのが好ましい（たとえば特許第４３９６６８４号公報を参照）。たとえば、Ｎ型基板を用いる場合には、半導体表面から深くなるにつれて、Ｎ型（第１導電型）ドーパントの一例である砒素Ａｓのドーピング濃度が低くなるように変調ドーピングをする。
【００６８】
＜撮像装置＞
図４は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。この撮像装置３００は、可視光カラー画像および赤外光画像を独立に得る撮像装置になっている。
【００６９】
撮像装置３００は、撮影光学系３０２と、光学ローパスフィルタ３０４と、撮像部３１０（固体撮像装置）と、駆動制御部３２０と、発光部３２２と、撮像信号処理部３３０と、表示部３８０と、データ記録部３９０を備えている。
【００７０】
撮影光学系３０２は、撮像レンズを主要素とし、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる。撮像部３１０は、色フィルタ群３１２および固体撮像素子３１４（イメージセンサ）を有する。駆動制御部３２０は固体撮像素子３１４を駆動する。
【００７１】
発光部３２２は電磁波照射部や電磁波出力部の一例であり、被写体に測定光を照射する。本実施形態の発光部３２２は、発光する光の波長帯域に特徴があり、外乱光の波長帯域において、低分光特性波長あるいは低分光分布波長、すなわち、電磁エネルギが他の波長に比べて相対的に低い低エネルギ波長（＝特定波長）に整合したものとする。「整合」とは、特定波長と対応した波長であることを意味し、典型的には、同じ波長が好ましいが、特定波長と多少ずれていてもよい。ただし、ずれた分だけ不要な成分の影響を受けるようになる。
【００７２】
たとえば、地上に到達する太陽光は大気中にてある特定の波長成分が吸収されていることが分かっている。そこで、本実施形態では、太陽光の地上到達波長特性に注目し、太陽光量の非常に少ない吸収波長帯域を特定波長として光源光に利用する。実現するカメラシステムでは、発光部３２２は、撮影被写体に対して照射する光源として赤外帯域で特定波長（吸収波長帯域）成分ＩＲＳを含む光源を用いて被写体Ｚを照射する。
【００７３】
撮像信号処理部３３０は、固体撮像素子３１４から出力された各撮像信号ＳIR（赤外光成分），ＳＶ（可視光成分）を処理する。
【００７４】
光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。また、図中に点線で示しように、光学ローパスフィルタ３０４と合わせて、可視光成分以外の不要な成分（たとえば長波長側の赤外光成分や短波長側の紫外光成分など）を抑制する光学フィルタ部５００を設けることもできる。たとえば、光学フィルタ部５００としては典型的には赤外光カットフィルタが設けられることがあるが、この点は、一般的な撮像装置と同様である。
【００７５】
光学フィルタ部５００と色フィルタ群３１２は、撮像光学系において光に対してフィルタ特性を持つ光学部材の一例である。第１実施形態では、後述する信号処理との組合せとの観点から、赤外光カットフィルタを備えない構成を基本とする。後述する第２実施形態では、赤外光領域の大部分の成分を抑圧する一般的な赤外光カットフィルタとは異なり太陽光吸収波長などを特定波長として扱い、概ね特定波長成分以外の波長を除去する特殊な（狭帯域のバンドパス特性を持つ）光学部材（光学バンドパスフィルタ）を使用する。
【００７６】
可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影光学系３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
【００７７】
固体撮像素子３１４は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる固体撮像素子３１４の具体的な構成においては、少なくとも、フォトダイオードなどの検知部が形成される半導体層については、前述の長波長領域に対する高感度化手法が適用されたものを使用する。一方、第１波長領域成分の一例である可視光領域と第２波長領域成分の一例である赤外光領域についての波長分離の仕組みについては、特に限定しない。
【００７８】
固体撮像素子３１４の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動制御部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。
【００７９】
固体撮像素子３１４から読み出された電荷信号、すなわち赤外光画像を担持する赤外光撮像信号ＳIRと可視光像を担持する可視光撮像信号ＳVLは撮像信号処理部３３０に送られ、所定の信号処理が加えられる。
【００８０】
たとえば、撮像信号処理部３３０は、前処理部３３２、ＡＤ変換部３３４、画素信号補正処理部３３６、フレームメモリ３３８、インタフェース部３３９、画像信号処理部３４０を有する。
【００８１】
図４において、反射光画像取得部は、発光部３２２と自然光画像取得部とで構成される。つまり、反射光画像取得部と自然光画像取得部においてそれぞれ共有できる部分は共有するような構成にしており、両部で異なる点は発光部３２２の有無であり、発光部以外の部品を共有している。自然光画像取得部は、撮影光学系３０２から画像信号処理部３４０直前までの機能部（換言すると発光部３２２と画像信号処理部３４０を除いた部分）で構成される。もちろんこれは一例であり、たとえば、反射光画像取得部と自然光画像取得部をそれぞれ別の画像取得部として構成してもよい。
【００８２】
発光部３２２は、駆動制御部３２０からの制御情報に従って、被写体Ｚに対して照射光を照射する。被写体Ｚは、撮影光学系３０２によって固体撮像素子３１４上に結像する。固体撮像素子３１４には、撮像した電荷を蓄積する第１の電荷蓄積部（Ｃ２，Ｃ３，Ｃ４に対応する可視光帯の検知部）および第２の電荷蓄積部（Ｃ１に対応する赤外光帯の検知部）が存在している。
【００８３】
前処理部３３２は、固体撮像素子３１４から出力されたセンサ出力信号（可視光撮像信号ＳVLおよび赤外光撮像信号ＳIR）に対して黒レベル調整やゲイン調整やガンマ補正などの前処理を行なう。
【００８４】
ＡＤ変換部３３４は、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換する。
【００８５】
画素信号補正処理部３３６は、撮影光学系３０２で生じるシェーディングや固体撮像素子３１４の画素欠陥などを補正する。
【００８６】
固体撮像素子３１４の出力する映像信号は前処理部３３２で増幅された後、ＡＤ変換部３３４でデジタルデータに変換され、画素信号補正処理部３３６でシェーディングなどの補正がされた後にフレームメモリ３３８に蓄積される。フレームメモリ３３８内のデジタル画像データは、画像信号処理部３４０からの要求に応じて、インタフェース部３３９を経由して出力される。
【００８７】
画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像した情報に基づいて、予め定められた信号処理を行なう。一例としては、通常画像や赤外光画像に対しての高感度化処理を行なう、あるいは、発光部３２２から発せられた特定波長成分の光に由来する画像情報に基づいて被写体距離の計測や物体検出を行なう。
【００８８】
たとえば、被写体Ｚへ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Time of flight）を用いて光飛行時間を測定し、光飛行時間に基づいて被写体Ｚまでの距離を測定したり、被写体Ｚの３次元画像を得る。
【００８９】
表示部３８０は、たとえば、液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬなどの表示デバイスを有し、駆動制御部３２０から入力されるビデオ信号に対応する画像を表示する。
【００９０】
データ記録部３９０は、ＣＯＤＥＣ（Code/Decode あるいはCompression/Decompression の略）を有し、画像信号を記憶するフラッシュメモリなどのメモリ（記録媒体）に、駆動制御部３２０や表示部３８０から供給される画像情報を記録し、また、読み出して復号し駆動制御部３２０や表示部３８０に供給する。
【００９１】
＜第１実施形態＞
図５は、画像信号処理部３４０を説明する図である。画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換する高感度化補正処理部３４１を備えている。
【００９２】
高感度化補正処理部３４１は、色フィルタＣ２〜Ｃ４を通して信号を検知する第２の検知部で検知された各波長の単位信号に基づいて測光量（測定量）を示す信号を取得し、この測光量を示す信号と色フィルタＣ１を通して信号を検知する第１の検知部で検知される高感度の第２の波長領域（本例では可視光領域）の各色成分の信号を使って、第２の検知部で検知された各波長の単位信号（色信号）に対して感度補正演算を実行する。感度補正演算としては、具体的には、第２の検知部で検知された各波長の色信号に対して、測光量を示す信号と第１の検知部で検知される高感度の色信号との比を掛けることで実現する。
【００９３】
このため、高感度化補正処理部３４１は、図示を割愛するが、撮像動作によって得られた色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度画像生成処理部、および、色・感度モザイク画像と輝度画像を用いて単色画像Ｒ，Ｇ，Ｂを生成する単色画像処理部とを有する。なお、一般に、波長成分（色成分）や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。
【００９４】
また、高感度化補正処理部３４１は、単色画像処理部で得られる単色画像に対して、輝度画像生成処理部で得られる輝度画像（測光量を示す）と色フィルタＣ１を通して得られる高感度撮像信号ＳHSを用いて補正を加えることで、高感度補正がなされた単色画像Ｒ，Ｇ，Ｂを生成する高感度化補正部を備えている。
【００９５】
単色画像信号生成部は、注目する色成分について、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＲ，ＳＧ，ＳＢを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
【００９６】
輝度画像生成部も、同様に、色フィルタＣ１を通して得られる色・感度モザイク画像、色フィルタＣ１の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＡを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。
【００９７】
色フィルタＣ１を設けない、Ｒ，Ｇ，Ｂの３原色フィルタを配したベイヤ配列の場合、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、第１実施形態では、このような演算が不要になる。
【００９８】
輝度画像生成部は、Ｒ，Ｇ，Ｂの合成演算手法を適用することもできる。たとえば、色・感度モザイク画像、色フィルタＣ１〜Ｃ４の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算する。そして、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する。ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値である。
【００９９】
画像信号処理部３４０は、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIR（高感度撮像信号ＳHS）を使って補正を加えることで補正可視光撮像信号ＳVL＊（ＳＲ＊，ＳＧ＊，ＳＢ＊）を生成する赤外光抑制補正処理部３４２を備えている。
【０１００】
画像信号処理部３４０は、赤外光抑制補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて輝度信号を生成する輝度信号処理部３４４と、赤外光抑制補正処理部３４２から出力された補正可視光撮像信号ＳVL＊に基づいて色信号（原色信号や色差信号）を生成する色信号処理部３４６と、赤外光撮像信号ＳIRに基づいて赤外光画像を表わす赤外光信号を生成する赤外信号処理部３４８とを備えている。
【０１０１】
第１実施形態の構成例では、高感度化補正処理部３４１の後段に、赤外光対応の赤外光抑制補正処理部３４２を設けているが、赤外光抑制補正処理部３４２の後段に、高感度化補正処理部３４１を設ける構成としてもよい。この場合、高感度化補正処理部３４１に設けられる輝度画像生成部を輝度信号処理部３４４と兼用し、また単色画像処理部を色信号処理部３４６と兼用できる。
【０１０２】
固体撮像素子３１４から出力された撮像信号は、撮像信号処理部３３０の前処理部３３２により所定レベルに増幅され、ＡＤ変換部３３４によりアナログ信号からデジタル信号に変換される。可視光成分のデジタルの画像信号は、赤外光抑制補正処理部３４２で赤外光成分が抑制され、さらに輝度信号処理部３４４や色信号処理部３４６にて、必要に応じて（特に色フィルタＣ２，Ｃ３，Ｃ４として補色フィルタを使用した場合）Ｒ，Ｇ，Ｂの色分離信号に分離された後、輝度信号や色信号もしくはこれを合成した映像信号などに変換され出力される。赤外信号処理部３４８にて、赤外光撮像信号ＳIRに対して可視光撮像信号ＳVLを使って補正が加えられる。
【０１０３】
赤外光抑制補正処理部３４２は、可視光撮像信号ＳVLに対して赤外光撮像信号ＳIRを使って補正を加えることができればよく、配設位置は、このような構成に限定されない。たとえば、ＡＤ変換部３３４とシェーディング補正や画素欠陥補正を行なう画素信号補正処理部３３６との間に設け、シェーディング補正や画素欠陥補正の前に赤外光の影響を抑制する補正を行なうようにしてもよい。
【０１０４】
あるいは、前処理部３３２とＡＤ変換部３３４との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の後に赤外光抑制処理を行なうようにしてもよいし、固体撮像素子３１４と前処理部３３２との間に設け、黒レベル調整やゲイン調整やガンマ補正などの前処理の前に赤外光抑制処理を行なうようにしてもよい。
【０１０５】
このような構成によって、撮像装置３００は、撮影光学系３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
【０１０６】
たとえば、撮影光学系３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成される撮像レンズを有し、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１４上に結像させる。
【０１０７】
色フィルタＣ１としては、色フィルタＣ２，Ｃ３，Ｃ４を通して得られる信号よりも光の利用効率が高い高感度信号が得られるようにしており、赤外光撮像信号ＳIRは、高感度撮像信号ＳHS（HS：High Sensitivity）としても機能するようになっている。
【０１０８】
本実施形態の撮像装置３００では、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外（本例では赤外光IR）とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。
【０１０９】
昼間におけるモノクロ画像あるいはカラー画像の撮像時に赤外光IRの影響を受けず、また、夜間などにおいて、赤外光IRによる撮像が可能となる。必要に応じて、他方の像も同時に出力することもできる。その場合でも、昼間において、可視光VLの影響を受けない赤外光IRのみの画像を得ることができる。
【０１１０】
波長別（色別）の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素１２Ａ側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
【０１１１】
発光部３２２から赤外光領域の特定波長光を発して得た赤外画像と発光部３２２から特定波長光を発しないで得た通常画像（特定波長光以外の太陽光による赤外光成分を含んでよい）とを比較する（典型例は両者の差分をとる）こともできる。この場合、夜間に限らず昼間でも、特定波長光のみに由来する情報を高精度に分離することができ、高精度の測距ができる。
【０１１２】
発光部３２２から特定波長光を発して得た赤外画像に基づく測距の手法は、たとえば、特開２００３−１８５４１２号公報に記載されている手法（同公報の図３を参照）を利用すればよい。
【０１１３】
眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を同時に受けることができるだけでなく、発光部３２２から特定波長光を発するか否かを切り替えての撮像もでき、従来にない新しいカメラシステムを提供できる。
【０１１４】
＜第２施形態＞
第２実施形態では、特定波長光を発する発光部３２２を使用する第１実施形態に加えて、受光側の撮像光学系では、少なくとも第１の波長領域の一例である赤外光領域に関して、光源に用いる波長帯域成分を透過しその他の赤外光成分をカットする特殊なバンドパスフィルタを撮像部の入射面側に設ける。さらに、第２の波長領域の一例である可視光領域についての取り扱いをどうするかで種々の態様を取り得る。
【０１１５】
以下具体的に説明する。なお、特段の断りのない限り、第１の波長領域は、たとえば波長６８０ｎｍ以上あるいは７５０ｎｍ以上の赤外光領域であるとする。また、特段の断りのない限り、「受光側の受光光路中」とは撮像レンズから撮像デバイスである固体撮像素子３１４の検知部表面までの撮像光学系の光路中を意味するものとする。固体撮像素子３１４の検知部表面とは、たとえばカラーフィルタ（色フィルタ群３１２）やオンチップマイクロレンズなどを除いたデバイス本体部分を意味する。
【０１１６】
［第１例］
図６は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第１例を示す図である。
【０１１７】
第１例は、赤外光領域内に１つ以上の特定波長成分を含む光を発する光源（発光部３２２）を用い、受光側の受光光路中には光学フィルタ部５００として、概ね特定波長成分以外の波長を除去する光学バンドパスフィルタ５０２を有する点に特徴を有する。受光側の撮像光学系では、光源から発せられた光の内の特定波長帯域だけを透過し、その他の赤外光および可視光をカットする特殊な光学バンドパスフィルタ５０２を設ける構成である。光学バンドパスフィルタ５０２は、たとえば太陽光ノイズ成分の低減を実現するには、赤外光領域に関しては、太陽光吸収波長以外には透過特性を持たないようにする必要がある。第１例の仕組みでは、固体撮像素子３１４に青、緑、赤の各色用の色フィルタ群３１２を画素に設けず、各画素が可視光範囲（青、緑、赤の各色成分に対応した全波長範囲）の光を受光する構成となる。
【０１１８】
典型的には前述した太陽光が外乱光に該当し、この場合には、太陽光吸収波長が特定波長に該当するが、「特定波長」は必ずしもこれには限定されず、赤外光領域内あるいは赤外光領域以外の任意の波長領域であってよい。たとえば、室内であるか室外であるかを問わず、水銀灯やナトリウムランプの影響がある状態で撮像を行なう場合には、これらの光源が太陽光と同じように外乱光成分の他の一例となり得る。さらには、室内など太陽光の入射は殆ど考えなくてもよい環境下において、太陽光（や蛍光灯や白熱灯などの照明光）以外の不要な成分が外乱光成分の他の一例として存在する場合が考えられる。
【０１１９】
そして、これらの場合において、その外乱光成分にはエネルギが他の波長に比べて相対的に低い低エネルギ波長（一点に限らずある範囲でよい：以下同様）が存在する場合には、この低エネルギ波長が特定波長に該当する。また、外乱光成分における低エネルギ波長は１つと限らず複数存在することも考えられるが、この場合には、その複数の低エネルギ波長がそれぞれ「特定波長」に該当する。これらの点は、後述する他の例においても同様である。
【０１２０】
たとえば、図６（１）は、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０２を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０２Ａを設ける場合を示す。一方、図６（２）は、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０２を設ける際に、光学バンドパスフィルタ５０２を固体撮像素子３１４上に一体で設ける構成を示す。図６（２）では、固体撮像素子３１４のデバイス本体部分３１１上にオンチップでマイクロレンズ３１８が設けられており、このマイクロレンズ３１８上に少なくとも特定波長に対しては透明な保護層３１９を介して光学バンドパスフィルタ５０２が設けられている。図６（３）および図６（４）では、マイクロレンズ３１８と光学バンドパスフィルタ５０２の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にするものである。
【０１２１】
光学バンドパスフィルタ５０２については、赤外光領域内の特定波長成分以外の波長に加えて可視光領域の光も吸収または反射するものであればよい。たとえば、図６（１）、図６（２）、図６（３）は、「反射」を利用するものであり、詳細は後述するが、フィルタ特性の異なる２種類以上の多層膜フィルタの組合せ（積層構造）により構成された光学バンドパスフィルタ５０２Ａを使用している。
【０１２２】
図６（４）は、「吸収」を利用するものであり、光学バンドパスフィルタ５０２Ｂを使用している。光学バンドパスフィルタ５０２Ｂは、赤外光領域内の特定波長成分のみを透過するように、赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ１が使用されたものである。
【０１２３】
赤外光フィルタＩＲＳ１は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。あるいは、Ｒ，Ｇ，Ｂのカラーフィルタと同様の考え方で材料の選択により実現することも考えられる。
【０１２４】
なお、撮像デバイスが光電変換感度を有しない波長以上では光が検知部に入射しても、光電変換されることはない。したがって、赤外光フィルタＩＲＳ１は、光電変換感度を有しない波長以下における赤外光（特にこの例では特定波長のみ）に対して透過特性を持っていればよく、光電変換感度を有しない波長以上の領域においては透過性を持つか否かは問わない。この点は、他の赤外光フィルタや光学バンドパスフィルタを始めとする各種の光学部材でも同様である。
【０１２５】
第１例の仕組みは、固体撮像素子３１４（光電変換素子）、受発光システム、カメラシステムなどとして適用される。そしてたとえば、赤外光領域中の光源波長（特定波長）と同一の波長成分のみを利用したモノクロ画像（特定波長の赤外光画像）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報の取得とを切り替えて使用可能なカメラシステムを構築できる。特定波長の赤外光画像を通常画像として取得する際には、光源から特定波長の赤外光（不可視光）を発しないでおく。一方、測距情報を表わす測定画像の取得時は、全ての画素を、被写体に照射する特定波長の光（以下「特定波長光」とも記す）を取得し距離情報を得るために利用することになる。切替撮像で取得された通常画像と測定画像を比較する（典型例は差分処理をする）ことで、光源から発せられた特定波長の赤外光のみに基づく距離情報を表わす画像を高精度に抽出することもできる。
【０１２６】
つまり、第２実施形態の仕組みは、後述する第５例のようなカラー画像の同時取得に限定されない。特定波長帯域だけを透過し、その他の赤外光および可視光をカットする特殊な光学バンドパスフィルタ５０２を受光側の撮像光学系に設けることで、全ての画素を特定波長光（発光部３２２から被写体に照射する特定波長光に限らない）に基づく画像を取得するために利用できる。
【０１２７】
たとえば、第１例を適用したカメラシステムでは、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０２で反射されるので、固体撮像素子３１４の画素で光電変換されることはない。また、赤外光領域内の特定波長成分以外の赤外光成分（図中のＩＲ成分）は光学バンドパスフィルタ５０２にて除去されるために固体撮像素子３１４の画素にて光電変換されることはない。しかし、光源から発せられ被写体で反射した成分であるかどうかを問わず、赤外光領域内の特定波長成分（図中のＩＲＳ成分）は光学バンドパスフィルタ５０２を透過して固体撮像素子３１４へ入射し光電変換される。
【０１２８】
第１例では、発光部３２２から発せられたか否かを問わず、特定波長光に基づくモノクロ画像と被写体に照射する光源による（つまり発光部３２２から発せられた）特定波長光（ここでは赤外光）に基づく測定画像を切り替えてもしくは同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いての測距が可能である。特定波長光以外の不要な赤外光成分が減少することで受光素子の飽和の問題を回避できる。
【０１２９】
［第２例］
図７は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第２例を示す図である。
【０１３０】
第２例は、赤外光領域内に１つ以上の特定波長成分を含む光源を用いる点で第１例と同様であるが、受光側には光学フィルタ部５００として、可視光成分と概ね特定波長成分以外の波長を除去する光学バンドパスフィルタ５０４を有する点に特徴を有する。つまり、第１例との比較では、光源には相違がないが光学フィルタ部５００が異なっている。光学バンドパスフィルタ５０４が可視光領域の成分の光も通過するようにすることで、可視光領域の光に基づくモノクロ画像を取得できるようにしている。
【０１３１】
特殊な光学バンドパスフィルタ５０４は、可視光領域の成分の光を通過する（可視光帯に透過特性を持つ）とともに、太陽光ノイズ成分の低減を実現するには、赤外光領域に関して、赤外帯域の特定波長以外には透過特性を持たないようにする必要がある。第２例の仕組みでは、固体撮像素子３１４に青、緑、赤の各色用の色フィルタ群３１２を画素に設けず各画素が全ての可視光を受光する構成とする。
【０１３２】
たとえば、図７（１）は、図６（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０４を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０４を設ける場合を示す。一方、図７（２）は、図６（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０４を設ける際に、光学バンドパスフィルタ５０４を固体撮像素子３１４上に一体で設ける構成を示す。図７（３）および図７（４）はそれぞれ、図６（３）および図６（４）と対応し、マイクロレンズ３１８と光学バンドパスフィルタ５０４の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にするものである。
【０１３３】
光学バンドパスフィルタ５０４については、詳細は後述するが、可視光領域の光と赤外光領域内の特定波長成分は透過するが、可視光領域の光と赤外光領域内の特定波長成分以外の波長の光を吸収または反射するものであればよい。たとえば、図７（１）、図７（２）、図７（３）は、「反射」を利用するものであり、フィルタ特性の異なる２種類以上の多層膜フィルタの組合せ（積層構造）により構成された光学バンドパスフィルタ５０４Ａを使用している。
【０１３４】
図７（４）は、「吸収」を利用するものであり、光学バンドパスフィルタ５０４Ｂを使用している。光学バンドパスフィルタ５０４Ｂは、全画素について、可視光帯と赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ２が使用されたものである。赤外光フィルタＩＲＳ２は、後述する特殊な光学バンドパスフィルタ５０４などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。図示しないが、光学バンドパスフィルタ５０４Ｂは、可視光用の画素（可視光画素）と対応する部分では可視光帯に透過性を持つように全域通過の白色フィルタＷが使用され、赤外画素と対応する部分では赤外光領域内の特定波長成分以外を吸収する赤外光フィルタＩＲＳ１が使用されたものとしてもよい。
【０１３５】
このような第２例の仕組みも、固体撮像素子３１４（光電変換素子）、受発光システム、カメラシステムなどとして適用される。そしてたとえば、赤外光領域中の光源波長と同一の波長成分を含む可視光を利用したモノクロ画像（通常画像の一例）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報を表わす測定画像の取得とを同時にまたは切り替えて行なうことが可能なカメラシステムを構築できる。距離情報との同時撮像であるか否かを問わず、固体撮像素子３１４は青、緑、赤の各色用の色フィルタ群３１２（色フィルタ１４）を画素に設けず各画素が全ての可視光を受光する構成であるので、非常に明るい輝度情報の画像（モノクロ画像）の取得が可能である。なお、詳しくは、図７（４）の構成の場合、各画素は可視光と赤外光領域の特定波長光の区別ができないので、可視光帯の成分と赤外光領域の特定波長光の成分を合わせたモノクロ画像を取得することになる。
【０１３６】
たとえば、切替撮像の場合に、可視光画像（自然光画像）を取得する際には、光源から特定波長の赤外光（不可視光）を発しないでおく。一方、測距情報の取得時は、全ての画素を被写体に照射する特定波長光と可視光の双方を取得し可視光画像に距離情報が混合された形態で取得するために利用することになる。切替撮像で取得された通常画像と測定画像の差分をとることで光源から発せられた特定波長の赤外光のみに基づく距離情報を表わす画像を高精度で抽出することもできる。
【０１３７】
たとえば、第２例を適用したカメラシステムでは、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０４を透過し、固体撮像素子３１４の画素に入射し光電変換される。光源から発せられ被写体で反射した成分であるかどうかを問わず、赤外光領域内の特定波長成分（図中のＩＲＳ成分）も光学バンドパスフィルタ５０４を透過して固体撮像素子３１４へ入射し光電変換される。しかし、赤外光領域内の特定波長成分以外の赤外光成分（図中のＩＲ成分）は光学バンドパスフィルタ５０４にて除去されるために固体撮像素子３１４の画素にて光電変換されることはない。
【０１３８】
この第２例は、可視光用の画素と赤外光ＩＲＳ用の画素の区別が実質的にできない点で、後述する第２例に対する第２変形例では可視光用の画素と赤外光ＩＲＳ用の画素の区別ができるのと異なる。つまり、固体撮像素子３１４やカメラシステムとしてこのような構成とすることで、各画像は従来と同様に青、緑、赤の波長成分は撮像光学系中の光学バンドパスフィルタ５０４を透過し、固体撮像素子３１４にて可視光画素（赤外画素でも）にて色の区別なく受光され光電変換される。赤外波長帯域の大部分の光は撮像光学系中の光学バンドパスフィルタ５０４を通過することができないので光電変換されない。そして、被写体に照射する特定波長光は、撮像光学系中の特殊な光学バンドパスフィルタ５０４を透過して赤外画素（可視光画素でも）に受光され光電変換される。
【０１３９】
被写体に照射した光源の光は各画素に集光され光電変換される可能性があり、この光はモノクロの可視光画像を表わす輝度成分に対するノイズとなり得る。しかしながら、可視光画素には本来の可視光成分（青、緑、赤の合成光）が非常に大量に光電変換されることから、輝度成分に対するノイズは非常に限定的で影響は殆どない。
【０１４０】
第２例では、可視光帯（詳しくは赤外光領域の特定波長光も含む）のモノクロ画像と被写体に照射する光源による（つまり発光部３２２から発せられた）特定波長光（ここでは赤外光）に基づく測定画像とを切り替えてもしくは同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いての測距が可能である。
【０１４１】
図示しないが、赤外画素の感度向上対策で説明したように、可視光画素では半導体層の浅い所を有効領域にし、赤外画素では半導体層の深い所までを有効領域にする構造にすることが考えられる。この場合、各画素は可視光と赤外光領域の特定波長光の区別ができ、可視光画素では可視光帯の成分のみのモノクロ画像を取得することができる。
【０１４２】
［第２例の変形例］
図８は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第２例に対する変形例を示す図である。
【０１４３】
図８（１）は、第２例に対する第１変形例である。第１変形例は、光学バンドパスフィルタ５０４では「反射」を利用するものであるが、それとは別に、色フィルタ部５１０を撮像光学系の光路中に設けている。図の色フィルタ部５１０は、特定波長は通過するが可視光帯域を「吸収」する可視光カットフィルタ５１２Ａを固体撮像素子３１４上の全面にオンチップで設けている例である。図では、図７（２）に対する変形例で示しているが、その他のものにも同様の変形を適用できる。
【０１４４】
第２例に対する第１変形例は、光学バンドパスフィルタ５０４と可視光カットフィルタ５１２Ａの組合せにより光学フィルタ部５００が構成される。可視光カットフィルタ５１２Ａとしては、可視光を吸収しかつ赤外光を透過する赤外光フィルタＩＲを使用する。赤外光フィルタＩＲは、可視光成分の波長を吸収または反射により除去するとともに赤外光領域に関しては少なくとも特定波長に対して透過性を持つものであればよい。つまり、赤外光フィルタＩＲは、赤外光領域の特定波長のみを通過する形態のものである必要はなく、赤外光帯（少なくとも特定波長範囲を含む）のみに対して透過特性を持つ一般的な赤外光用の色フィルタでよい。
【０１４５】
第２例の第１変形例の場合、被写体で反射される可視光成分（図中のＲ，Ｇ，Ｂの各成分）は光学バンドパスフィルタ５０４を透過するが、可視光カットフィルタ５１２Ａにより吸収されるので、固体撮像素子３１４の画素で光電変換されることはない。このため、固体撮像素子３１４で得られる情報としては、第１例と同様になる。たとえば、赤外光領域中の光源波長と同一の波長成分のみを利用したモノクロ画像（特定波長の赤外光画像）の撮像と、光源から特定波長の赤外光（不可視光）を発しての測距情報の取得とを切り替えて使用可能なカメラシステムを構築できる。
【０１４６】
図８（２）は、第２例に対する第２変形例である。第２変形例は、光学バンドパスフィルタ５０４Ａでは「反射」を利用するものであるが、それとは別に、色フィルタ部５１０を撮像光学系の光路中に設けている。図の色フィルタ部５１０は、特定波長は通過するが可視光帯域を「吸収」する可視光カットフィルタ５１２Ｂを固体撮像素子３１４上にオンチップで設けている例である。第２例の第２変形例の場合、固体撮像素子３１４で得られる情報としては、第２例と同様になる。可視光カットフィルタ５１２Ａとの相違は赤外画素の部分だけに可視光帯域を「吸収」するように赤外光フィルタＩＲを配置する点である。図では、図７（２）に対する変形例で示しているが、その他のものにも同様の変形を適用できる。
【０１４７】
第２例の第２変形例は、光学バンドパスフィルタ５０４Ａと可視光カットフィルタ５１２Ｂの組合せにより光学フィルタ部５００が構成される。可視光カットフィルタ５１２Ｂとしては、可視光画素と対応する部分では可視光帯に透過性を持つように全域通過の白色フィルタＷが使用され、赤外画素と対応する部分では可視光を吸収しかつ赤外光を通過する赤外光フィルタＩＲを使用する。赤外光赤外光フィルタＩＲは、赤外光領域の特定波長のみを通過する形態のものである必要はなく、赤外光帯（少なくとも特定波長範囲を含む）のみに対して透過特性を持つ一般的な赤外光用の色フィルタでよい。
【０１４８】
なお、可視光カットフィルタ５１２Ｂの全域通過の白色フィルタＷは、これを設けないと構造的にデバイスの製造が難しくなる場合（たとえばオンチップのマイクロレンズの配置などのため）に対処するために、可視光を透過する材料として設けている。したがって、製造上の問題がなければ可視光画素の部分に全域通過の白色フィルタＷを設けることは必須でない。
【０１４９】
色フィルタ部５１０に可視光カットフィルタ５１２Ｂを設けたことで、画素としては、可視光画像と赤外光画像の区別をできるようになる。このため、単一の固体撮像素子３１４にてモノクロ画像と赤外情報を同時に取得することが可能となる。光学バンドパスフィルタ５０４Ａの存在により、赤外光領域の大部分の不要な成分をカットすることができ、赤外画素は飽和の問題を回避することができる。
【０１５０】
色フィルタ部５１０は、可視光画素と対応する部分に全域通過の白色フィルタＷを設けているが、実態としては、青、緑、赤の各色用のカラーフィルタを可視光画素に設けず各可視光画素が全ての可視光を受光する構成となる。したがって、第２例の第２変形例は、非常に明るい輝度情報の画像（モノクロ画像）と測距情報の同時取得が可能である。
【０１５１】
［第３例］
図９は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第３例を示す図である。
【０１５２】
第３例は、第１例における「特定波長範囲」が太陽光吸収波長の場合での適用例である。複数の太陽光吸収波長がそれぞれ「特定波長範囲」に該当する。この点は、後述する他の例においても同様である。
【０１５３】
太陽光吸収波長である７６０ｎｍ近傍または９４０ｎｍ近傍または１１３０ｎｍ近傍または１４００ｎｍ近傍の波長成分を含む光を発する光源を発光部３２２に用い、受光側（受光光路中）には光源以外の波長を除去する光学バンドパスフィルタ５０６を設ける。光学バンドパスフィルタ５０６は、第１例の光学バンドパスフィルタ５０２と同等のものと考えればよい。
【０１５４】
たとえば、図９（１）は、図６（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０６を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０６Ａを設ける場合を示す。一方、図９（２）は、図６（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０６を設ける際に、光学バンドパスフィルタ５０６Ａを固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図６（３）および図６（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０６の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１５５】
図９（１）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、固体撮像素子３１４とは別部品の光学バンドパスフィルタ５０６Ａとして９４０ｎｍ近傍などを透過するものを使用する場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１５６】
図９（２）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、９４０ｎｍ近傍などを透過する光学バンドパスフィルタ５０６Ａが固体撮像素子３１４にオンチップで設けられている場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１５７】
［第４例］
図１０は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第４例を示す図である。
【０１５８】
第４例は、第２例における「特定波長範囲」が太陽光吸収波長の場合での適用例である。太陽光吸収波長である７６０ｎｍ近傍または９４０ｎｍ近傍または１１３０ｎｍ近傍または１４００ｎｍ近傍の波長成分を含む光を発する光源を発光部３２２に用い、受光側（受光光路中）には可視光と光源以外の波長を除去する光学バンドパスフィルタ５０８を設ける。光学バンドパスフィルタ５０８は、第２例の光学バンドパスフィルタ５０４と同等のものと考えればよい。
【０１５９】
たとえば、図１０（１）は、図７（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０８Ａを設ける場合を示す。一方、図１０（２）は、図７（２）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、光学バンドパスフィルタ５０８Ａを固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図７（３）および図７（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０８の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１６０】
図１０（１）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、固体撮像素子３１４とは別部品の光学バンドパスフィルタ５０８Ａとして９４０ｎｍ近傍を透過するものを使用する場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１６１】
図１０（２）では、太陽光吸収波長である９４０ｎｍ近傍などの波長成分を含む光を発する光源との組合せであり、９４０ｎｍ近傍などを透過する光学バンドパスフィルタ５０８Ａが固体撮像素子３１４にオンチップで設けられている場合を示している。固体撮像素子３１４上には色フィルタ群３１２が設けられておらず（カラーフィルタなし）白黒用の撮像デバイスとなる。
【０１６２】
図示しないが、第４例に対しても、第２例に対する第１変形例や第２変形例と同様の変形が可能である。
【０１６３】
第４例では、太陽光の７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の特定波長に光源波長を整合させることで、屋外での太陽光による赤外帯域のノイズ成分を避けることができる。これらの特定波長の光を発光部３２２から被写体に照射する。同時に、赤外帯域のノイズ成分をカットするが、可視光帯域と光源の特定波長帯域の波長成分は透過させる特殊な赤外カットフィルタ光学素子の一例として光学バンドパスフィルタ５０８を設けることで、赤外光領域に関しては特定波長以外の成分が検知部で検知されることを回避することで、飽和の問題も解消する。
【０１６４】
［第５例］
図１１は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第５例を示す図である。
【０１６５】
第５例は、可視光の通常画像を取得可能な第２例や第４例に対する変形例であり、可視光帯を色分別して受光するように変形することでカラー画像撮像に対応するものである。このため、可視光画素と対応する部分には可視光領域の色分離に対応する波長を透過するカラーフィルタを設け、特定波長成分用の赤外画素と対応する部分には可視光を吸収または反射しかつ赤外光領域の少なくとも特定波長成分を透過するカラーフィルタを設ける。
【０１６６】
たとえば、図１１（１）は、図７（１）や図１０（１）と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、固体撮像素子３１４とは別の光学素子として光学バンドパスフィルタ５０８を設ける場合を示す。一方、図１１（２）は、図７（２）や図１０（２）（詳しくは図１０（６））と対応し、撮像光学系の光路中に特殊な光学バンドパスフィルタ５０８を設ける際に、光学バンドパスフィルタ５０８を固体撮像素子３１４上に一体で設ける構成を示す。図示しないが、図７（３）および図７（４）と対応するように、マイクロレンズ３１８と光学バンドパスフィルタ５０８の配置順を逆にすることで保護層３１９を使用しない（あるいは極めて薄いものにする）構造にすることも考えられる。
【０１６７】
このような第５例の基本的な構成は、第２例や第４例と同様であるが、可視光帯を色分別して受光するように可視光画素と対応する部分には色分離用のカラーフィルタ（色フィルタ群３１２）を有する色フィルタ部５２０が設けられている。第２例や第４例と同様に、受光側の撮像光学系では、可視光を透過し、かつ、赤外光領域については光源から発せられた特定波長帯域の光だけを透過しその他の赤外光をカットする光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を設ける。
【０１６８】
カラー画像を撮影する可視光画素にはカラー画像を取得するためにたとえば、青、緑、赤の各色の画素を有する構成にする場合は、それぞれの波長成分以外を吸収または反射するカラーフィルタを設けた画素と、被写体に照射する特定波長光を検知し距離情報を得るための赤外画素を設ける。赤外画素には、可視光成分の波長を吸収または反射により除去するとともに赤外光領域に関しては少なくとも特定波長に対して透過性を持つ赤外光フィルタＩＲを設ける。
【０１６９】
色フィルタ部５２０は色フィルタ部５１０と対応するもので、特に、図８（２）に示した第２例に対する第２変形例における可視光カットフィルタ５１２Ｂと対応する。構成としては、可視光カットフィルタ５１２Ｂの全域通過の白色フィルタＷを、青（Ｂ）、緑（Ｇ）、赤（Ｒ）のそれぞれに対応する色フィルタを配置した色分離フィルタＲ／Ｇ／Ｂに置き換えたものが色フィルタ部５２０である。色フィルタ部５２０は、赤外画素と対応する部分では可視光を吸収しかつ赤外光を通過する赤外光フィルタＩＲを使用する。
【０１７０】
以下では、第４例に対する変形例で説明する。太陽光の地上到達波長特性に注目し、太陽光量の非常に少ないたとえば７６０ｎｍ、９４０ｎｍ、１１３０ｎｍ、１４００ｎｍ近傍の特定波長帯域を利用する。そして、実現するカメラシステムでは、撮影被写体に対して照射する光源（発光部３２２）として７５０ｎｍ以上の赤外帯域で４つの特定波長帯域の内１つ以上の波長成分を含む光を発する光源を発光部３２２に用いる。
【０１７１】
固体撮像素子３１４やカメラシステムとしてこのような構成とすることで、青、緑、赤の波長成分は撮像光学系中の光学バンドパスフィルタ５０８で透過されるので、カラー画像は従来と同様に固体撮像素子３１４上のカラーフィルタにてそれぞれの成分として受光され光電変換される。一方、可視光成分の波長を吸収または反射により除去する赤外光フィルタＩＲを設けた赤外画素では青、緑、赤の波長成分は光電変換されることはない。
【０１７２】
発光部３２２から特定波長光を発しての測距情報の取得では、被写体に照射された太陽光による赤外波長帯域の特定波長光成分を除く大部分の光は撮像光学系中の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を通過することができないので光電変換されない。一方、被写体に照射する特定波長光は、撮像光学系中の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を透過し、可視光成分の波長を吸収または反射により除去する赤外光フィルタＩＲを設けた赤外画素に受光され光電変換される。
【０１７３】
被写体に照射した光源の特定波長光はカラー画像用の色分離フィルタＲ／Ｇ／Ｂの分光特性によっては可視光画素に集光され光電変換される可能性があり、カラー画像の色成分に対するノイズとなり得る。しかしながら、それぞれのカラー画素には本来の可視光成分（青、緑、赤の各別の光）が非常に大量に光電変換されることから、色成分に対するノイズは非常に限定的で影響は殆どない。仮に、暗い場所の場合は、色分離フィルタＲ／Ｇ／Ｂへの照射光が入り光電変換される影響があるが、たとえば、Ｒ−ＩＲ・α、Ｇ−ＩＲ・β、Ｂ−ＩＲ・γという差分演算をすることで特定波長光の影響を抑制できる。
【０１７４】
光学フィルタ部５００および色フィルタ部５２０を第５例のような構成とすることで、単一の固体撮像素子３１４にてカラー画像と赤外情報を同時に取得することができる。つまり、色フィルタ部５２０により可視光画素（特に色画素）と赤外画素が区別されるので、カラー画像と被写体に照射する光源による特定波長光に基づく測定画像を同時に取得することが可能であり、被写体に照射した特定波長光の信号を用いて昼間の屋外でも測距が可能となる。
【０１７５】
屋外では地上に到達する太陽光は主に大気中の水分にて７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の光が吸収される。このような特定波長の光を被写体を照射し、その反射光を透過する光学バンドパスフィルタ５０６を設けることにより直接的な外乱によるＳ／Ｎ比（Signal-Noise ratio：信号雑音比）を大幅に改善できる。固体撮像素子３１４あるいは撮像システムをこのような構成とすることで、屋外における外乱ノイズの極めて少ない信号を得ることが可能となる。また、特定波長光以外の不要な入射太陽光成分が減少することで飽和の問題も解消される。これにより、室内はもちろん太陽光下でも精度の高い距離計測や物体検出が可能になる。
【０１７６】
［第６例］
図１２は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第６例を示す図である。第６例は、第５例に対する変形例であり、図１２（１）は図１１（１）に対する適用例を示し、図１２（２）は図１１（２）に対する適用例を示す。第６例は、色フィルタ部５２０は赤外画素に赤外光フィルタＩＲを設けないようにしている。なお、この例は、色フィルタ部５２０が設けられているカラー撮像用の場合で示しているが、色フィルタ部５２０が設けられていないモノクロ撮像用の場合にも同様の考え方を適用できる。
【０１７７】
この場合、可視光成分も赤外画素で検知されることが懸念される。この対策として、第６例では、赤外画素の感度向上対策で説明したように、赤外画素では半導体層の深い所までを有効領域にする構造にする。
【０１７８】
すなわち、第６例では、赤外波長の場合は可視光に比べて半導体（たとえばシリコン）の深層部で光電変換される特性を持っていることに着目して、第５例で設けていた可視光成分の波長を除去する色フィルタ部５２０の赤外光フィルタＩＲを設けない。可視光波長が吸収される深さでは光電変換を生じさせず、赤外光波長が吸収される深さで光電変換を生じさせる構造とすることで、被写体に照射した特定波長光を検知することで距離情報を得ることができる。
【０１７９】
なお、色フィルタ部５２０に、赤外光フィルタＩＲを設けない場合、構造的にデバイスの製造が難しくなること（たとえばオンチップのマイクロレンズの配置などのため）が起こり得る。この対処のためには、製造上使用し易く、被写体に照射する特定波長光を透過する材料を代わりに設けてもよい。たとえば、可視光帯域から近赤外光帯域に対して部分的に透過しない色フィルタ（Ｒ／Ｇ／Ｂ／シアン／マゼンタなど）のように吸収帯域が存在しつつ前記特定波長光を透過する材料、または、少なくとも特定波長を含む可視光帯から赤外光帯に全域通過の白色フィルタＷを使用することが考えられる。第５例の場合、特定波長のみを通過させるようにするには相当の厚さ（たとえば１μｍ程度が考えられる）のフィルタが必要になり、Ｒ，Ｇ，Ｂのカラーフィルタの厚さ（たとえば６００〜７００ｎｍ程度）との整合性が問題となる。これに対して、第６例では、基本的にはフィルタ厚さの問題が起きない。すなわち、カラーフィルタ構造の高さ整合性を確保する上で、第６例は好適な態様である。
【０１８０】
「被写体に照射する特定波長光を透過する材料」は、可視光と赤外光の双方に対して透過性を持つ材料であり、第５例で使用した赤外光フィルタＩＲ（可視光に対して透過性を持たない）とは異なるものである。また、Ｒ，Ｇ，Ｂのカラーフィルタと同様の考え方を適用して、どのような材料を使うかを適宜選択することで実現することも考えられる。
【０１８１】
［第７例］
図１３は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第７例を示す図である。
【０１８２】
第７例は、第５例に対する変形例であり、図１３（１）は図１１（１）に対する適用例を示し、図１３（２）は図１１（２）に対する適用例を示す。第７例は、光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を光学バンドパスフィルタ５３０に置き換えている。
【０１８３】
光学バンドパスフィルタ５３０は先ず、可視光画素と対応する部分には可視光以外の波長を吸収または反射により除去するバンドパスフィルタ（いわゆる赤外カットフィルタ）を設けている。さらに光学バンドパスフィルタ５３０は、赤外画素と対応する部分には、光学バンドパスフィルタ５３０の部材が存在しないように（開口部となるように）している。つまり、第７例は、カラー画像を取得する可視光画素上に可視光以外の波長を吸収または反射により除去するバンドパスフィルタを設け、被写体に照射する特定波長光を検知し距離情報を得るための赤外画素部分にはバンドパスフィルタを設けない。
【０１８４】
この場合、可視光成分および特定波長光以外の赤外光成分も赤外画素で検知されることが懸念される。この対策として、第７例では、赤外画素の部分には、被写体に照射する特定波長光以外の波長を吸収または反射により除去する赤外光フィルタＩＲＳ２を、色分離用の色フィルタ群３１２（Ｒ／Ｇ／Ｂ）と併せてオンチップで設ける。このような赤外光フィルタＩＲＳ２は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパスとローパスの２種の色フィルタの組合せで実現すればよい。
【０１８５】
図示しないが、赤外画素の部分を、第６例で示したように、半導体層の深い所までを有効領域にする構造にすることも考えられる。この場合は、赤外画素では可視光成分を検知しないので、赤外光フィルタＩＲＳ２は、可視光および被写体に照射する特定波長光光以外の波長を吸収または反射により除去する赤外光フィルタＩＲＳ３に置き換えることができる。このような赤外光フィルタＩＲＳ３は、後述する特殊な光学バンドパスフィルタ５０２などの製法の基本的な考え方と同じように、カットオフを特定波長近傍に設定したハイパス（ただし可視光も透過させるようにする）とローパスの２種の色フィルタの組合せで実現すればよい。
【０１８６】
［第８例］
図１４は、光源（の特定波長光）と、光学フィルタ部と、撮像デバイス構造の組合せの第８例を示す図である。
【０１８７】
第８例は、第５例に対する変形例であり、図１４（１）は図１１（１）に対する適用例を示し、図１４（２）は図１１（２）に対する適用例を示す。第８例は、光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８を光学バンドパスフィルタ５４０に置き換えている。見方を変えると、第８例は第７例に対する変形例であり、光学バンドパスフィルタ５３０を光学バンドパスフィルタ５４０に置き換えている。
【０１８８】
光学バンドパスフィルタ５４０は先ず、可視光画素と対応する部分には可視光以外の波長を吸収または反射により除去するバンドパスフィルタ（いわゆる赤外カットフィルタ）を設けている。さらに、光学バンドパスフィルタ５４０は、赤外画素と対応する部分には、被写体に照射する特定波長光だけを透過し、それ以外の波長を吸収または反射により除去する特殊なバンドパスフィルタ（光学バンドパスフィルタ５０２などと同じ部材のもの）を設けている。つまり、光学バンドパスフィルタ５３０の開口部分を、光学バンドパスフィルタ５０２などと同じ部材のものに置き換えたものである。この場合、第７例とは異なり、赤外画素には特別な波長を吸収または反射するカラーフィルタを必要としない。
【０１８９】
なお、赤外画素上に特別な波長を吸収または反射するカラーフィルタを設けないと、構造的にデバイスの製造が難しくなる場合（たとえばオンチップのマイクロレンズの配置などのため）には、製造上使用し易く、少なくとも被写体に照射する特定波長光を透過する材料を代わりに設けてもよい。たとえば、可視光帯域から近赤外光帯域に対して部分的に透過しない色フィルタ（Ｒ／Ｇ／Ｂ／シアン／マゼンタなど）のように吸収帯域が存在しつつ前記特定波長光を透過する材料、または、少なくとも特定波長を含む可視光帯から赤外光帯に全域通過の白色フィルタＷを設けるとよい。
【０１９０】
＜特殊な光学バンドパスフィルタの詳細＞
図１５〜図１６は、特定波長を中心波長とする狭帯域のバンドパス特性を持つ光学部材（特殊な光学バンドパスフィルタなど）の製法を説明する図である。ここで、図１５は、バンドパス特性を持つ光学部材の製法の基本的な考え方を示す図である。図１６は、バンドパス特性を持つ光学部材の具体例を説明する図である。
【０１９１】
光学バンドパスフィルタ５０２や光学バンドパスフィルタ５０６などのバンドパス特性を持つ光学部材は、特定波長光には透過特性を持つが特定波長光以外には透過特性を持たないようにする必要がある。可視光帯も透過させる形態の光学バンドパスフィルタ５０４や光学バンドパスフィルタ５０８などでは、可視光と特定波長光には透過特性を持つが可視光と特定波長光以外には透過特性を持たないようにする必要がある。何れも、特定波長光の部分は、特定波長光の狭い帯域だけを透過する狭帯域性を持つことが必要である。
【０１９２】
このような特定波長光に関して狭帯域性を持つものを１種の光学フィルタで実現することは困難である。たとえば、通常のいわゆる赤外カットフィルタでは吸収材料の場合には赤外帯域で任意の波長帯域だけを急峻に透過するものはなく、また多層膜により赤外光の不透過を実現する場合でも赤外帯域で特定波長光の狭い帯域だけを透過する多層膜の設計は困難である。
【０１９３】
この対策として、特定波長光のみを透過するバンドパス特性を持つ形態の光学部材に関しては、図１５（１）に示すように、特定波長λ０近傍をカットオフとするハイパスフィルタ５５２と、特定波長λ０近傍をカットオフとするローパスフィルタ５５４とを組み合わせた光学バンドパスフィルタ５５１にする。
【０１９４】
図１５（１−１）に示すように、ハイパスフィルタ５５２は、特定波長λ０に対して短波長側の（特定波長λ０よりも少し波長の短い）波長λ１をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９４０ｎｍよりも１０ｎｍ程度短波長側（λ１＝９３０ｎｍ近傍）をカットオフとして、それよりも長波長側を透過するようなものとする。なお、ハイパスフィルタ５５２は、ローパスフィルタ５５４でカットされることになる波長λ２よりも長波長側については透過、不透過は問わない。
【０１９５】
図１５（１−２）に示すように、ローパスフィルタ５５４は、特定波長λ０に対して長波長側の（特定波長λ０よりも少し波長の長い）波長λ２をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９４０ｎｍよりも１０ｎｍ程度長波長側（λ２＝９５０ｎｍ近傍）をカットオフとして、それよりも短波長側を透過するようなものとする。なお、ローパスフィルタ５５４は、ハイパスフィルタ５５２でカットされることになる波長λ１よりも短波長側については透過、不透過は問わない。
【０１９６】
このようなハイパスフィルタ５５２とローパスフィルタ５５４を組み合わせて１つの光学部材である光学バンドパスフィルタ５５１にすれば、図１５（１−３）に示すように、特定波長λ０を中心とし、低波長側は波長λ１をカットオフとし、長波長側は波長λ０をカットオフとするバンドパス特性を持つようになる。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９３０ｎｍ近傍以下では不透過で、９３０ｎｍ近傍から９５０ｎｍ近傍までは透過で、９５０ｎｍ近傍以上の波長では不透過な光学バンドパスフィルタになる。
【０１９７】
可視光と特定波長光を透過するバンドパス特性を持つ形態の光学部材に関しては、図１５（２）に示すように、特殊なハイパスフィルタ５５６と、特殊なローパスフィルタ５５８とを組み合わせた光学バンドパスフィルタ５５５にする。
【０１９８】
図１５（２−１）に示すように、ハイパスフィルタ５５６は、可視光帯（波長λ３〜波長λ４）は透過特性を持つとともに、特定波長λ０に対して短波長側の（特定波長λ０よりも少し波長の短い）波長λ１をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、波長λ３から波長λ４までは透過特性を持つことに加えて、９４０ｎｍよりも１０ｎｍ程度短波長側（λ１＝９３０ｎｍ近傍）をカットオフとして、それよりも長波長側を透過するようなものとする。なお、ハイパスフィルタ５５６は、ローパスフィルタ５５４でカットされることになる波長λ２よりも長波長側については透過、不透過は問わない。
【０１９９】
図１５（２−２）に示すように、ローパスフィルタ５５８は、可視光帯（波長λ３〜波長λ４）は透過特性を持つとともに、特定波長λ０に対して長波長側の（特定波長λ０よりも少し波長の長い）波長λ２をカットオフとするものである。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、波長λ３から波長λ４までは透過特性を持つことに加えて、９４０ｎｍよりも１０ｎｍ程度長波長側（λ２＝９５０ｎｍ近傍）をカットオフとして、それよりも短波長側を透過するようなものとする。なお、ローパスフィルタ５５８は、ハイパスフィルタ５５２でカットされることになる波長λ１よりも短波長側（ただし波長λ３から波長λ４までの可視光帯は除く）については透過、不透過は問わない。
【０２００】
このようなハイパスフィルタ５５６とローパスフィルタ５５８を組み合わせて１つの光学部材である光学バンドパスフィルタ５５５にすれば、図１５（２−３）に示すように、特定波長λ０を中心とし、低波長側は波長λ１をカットオフとし、長波長側は波長λ０をカットオフとするバンドパス特性を持つようになることに加えて、波長λ３から波長λ４までの可視光帯にも透過特性を持つようになる。なお、波長λ３から波長λ４までの可視光帯に関しては、図１５（１）に示した波長λ１から波長λ２までの特定波長についての考え方と同様に、ハイパスフィルタ５５６とローパスフィルタ５５８の組み合わせで短波長側のカットオフλ３と長波長側のカットオフλ４が決まればよく、フィルタ５５６，５５８の何れに可視光用のローパス特性を持たせ、何れに可視光用のハイパス特性を持たせるかの組合せは自由である。たとえば特定波長λ０が太陽光吸収波長の１つである９４０ｎｍとする場合であれば、９３０ｎｍ近傍以下では不透過（ただし波長λ３から波長λ４までの可視光帯は除く）で、９３０ｎｍ近傍から９５０ｎｍ近傍までは透過で、９５０ｎｍ近傍以上の波長では不透過な光学バンドパスフィルタになる。
【０２０１】
ハイパスフィルタ５５２およびローパスフィルタ５５４並びにハイパスフィルタ５５６およびローパスフィルタ５５８のそれぞれは、たとえば多層膜により構成されたものを使用すればよい。これらは、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた構造を採用するとよい。すなわち、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光（電磁波）の内の本来の検知目的外である波長成分（本例では特定波長光や可視光）を反射させ残り（本例では特定波長光や可視光）を通過させる特性を持った積層部材としての誘電体積層膜を利用した構造を持つものとするのがよい。
【０２０２】
このような光学バンドパスフィルタ５５１や光学バンドパスフィルタ５５５は、従来の赤外光を利用した測距センサでは波長の厳密な特定が必要がないために利用されることはなく、また可視光のカメラシステムにおいても同様に利用されることはなかった。また、１種の光学フィルタで非常に急峻な所望の特殊なバンドパス特性を得ることは難しいのが現実である。これに対して、第２実施形態では、前述のようなハイパス特性とローパス特性の組合せで構成することで、特定波長λ０を中心とする非常に狭帯域の（急峻な）所望の特殊なバンドパス特性を比較的容易に得ることができる。
【０２０３】
図１６には、バンドパス特性を持つ光学部材の一例である光学バンドパスフィルタ５５５の具体例が示されている。ここでは、太陽光の地上到達光と特殊なバンドパスフィルタと被写体に照射する光源の分光特性関係を示している。説明のために、これら３つの分光特性グラフの縦軸スケールは相対的なスケールを変えている。
【０２０４】
図中の矢指線ａは太陽光の地上到達波長特性であり、矢指線ｂは光学バンドパスフィルタ５５５の透過率波長特性であり、特定波長である太陽光吸収波長の９４０ｎｍ近傍の矢指線ｃは被写体に照射する光源（たとえばＬＥＤ）の波長特性である。図の例では、可視光帯域と９４０ｎｍ近傍の光だけが光学バンドパスフィルタ５５５を透過できるので、画素に到達する赤外成分の光は非常に少なくなる。また、９４０ｎｍにピークを持つＬＥＤ光源を被写体に照射すると、９４０ｎｍ近傍の光は透過できるので９４０ｎｍ近傍に存在する光としては太陽光に比べて被写体に照射する光源の成分が多くを占めることになる。なお、この図の特性は一例であり、光学バンドパスフィルタ５５５の透過バンド幅やＬＥＤ光源のバンド幅はこれに限定されることはない。
【０２０５】
〔問題事例〕
図１７は、太陽光が地上に到達する波長成分（電磁波エネルギレベル）を説明する図である。米国のNational Renewable Energy LaboratoryによりReference Solar Spectral Irradiance: ASTM G-173 に公開されているデータから、太陽光が地上に到達する波長成分には複数の吸収波長帯域が存在することが分かる。具体的には、図１７に示すように、７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍で吸収が大きな値となっている。
【０２０６】
一般的なシリコンが光電変換感度を有する１１００ｎｍ程度までの波長帯域では７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍の吸収波長帯域に着目すればよい。ブラックシリコンと呼ばれるシリコンをベースとして感度の向上と赤外帯域までの感度延長を可能とする材料の光電変換感度を有しない波長は１４００ｎｍ以上にまで拡大されるので、１４００ｎｍ近傍の吸収波長帯域にも着目した方がよい。
【０２０７】
ここで、昼間の屋外では、図１７に示したような太陽光の成分が検知される。図１７からも分かるように可視広帯域では太陽光は非常に強く、また赤外帯域においても可視光よりはレベルは低いが非常に大きい光であることに変わりはない。測距カメラシステムを考えた場合、被写体を測距するには被写体に照射する測距用の赤外光源を被写体に照らし、その戻り光を受光することで実現するが、赤外光帯域においても光が強く、たとえば可視光除去フィルタを用いた撮像素子に８５０ｎｍの一般的なＬＥＤ光源に用いても、太陽光の７５０ｎｍから１１００（あるいは１４００）ｎｍまでの光量積算値はノイズ成分となり、信号成分のＬＥＤ光に比べて非常に大きいものとなることが昼間屋外での測距を困難とする原因といえる。
【０２０８】
図１８は、赤外カットフィルタの特性例を示す図である。図では、地上太陽光の吸収波長特性と重ねて示している。図示の赤外カットフィルタは、株式会社ケンコー光学の「ＩＲＣ−６５Ｓ」と「ＩＲＣ−６５Ｌ」である。何れも、可視光を透過し、７００〜８００ｎｍ付近の近赤外光をカットするフィルタであり、カット率５０％のポイントが６５０ｎｍ近傍に設定されている。しかしながら、図から分かるように、「ＩＲＣ−６５Ｓ」の場合は、８５０ｎｍ以上では副透過帯が発生しており、この副透過帯ではある程度の透過性を持ってしまう。
【０２０９】
したがって、このような副透過帯を持つ赤外カットフィルタ（ＩＲＣ−６５Ｓなど）でカットできない８５０ｎｍ以上の太陽光がイメージセンサで光電変換されノイズ成分となる。たとえば、ＩＲＣ−６５Ｓの場合（簡単のため９００ｎｍ以上でほぼ透過とする）、太陽光エネルギ（９００ｎｍ〜１２００ｎｍ：図中の枠線ａの分）の積算値Ｐは１５３［Ｗ／ｍ＾２］となる。この状態で光源波長を、太陽光の吸収波長帯を除く８５０ｎｍ以上のどこを使ったとしても、ノイズ成分は多いので根本的なＳ／Ｎは改善し難い。
【０２１０】
たとえば、距離計測の際に、近赤外光を物体へ照射し、その反射光をセンサで受光することで物体距離の検出を行なう。たとえば、近赤外光として主に８５０ｎｍ以上が用いられている。アクティブ計測法には三角測量法とＴＯＦ法（Time Of Flight）などがあるが、何れも近赤外光を被写体に照射することで距離情報を得る。
【０２１１】
ここで、屋外で距離計測を行なう際には、太陽光による外乱ノイズが大きな問題となる。その対策として、信号成分を増やすために強力な赤外光源を用意し照射する方法、「赤外物体反射光＋外光」用の受光画素と「外光」画素の２つを用意し差分をとる方法などが考えられる。
【０２１２】
しかしながら、たとえば１０万Ｌｕｘもある強力な太陽光による根本的な外乱ノイズが存在しているため、本質的にはＳ／Ｎ比を高くすることは困難である。また、太陽光が強力なためセンサの飽和が生じてしまうこともある。
【０２１３】
〔第２実施形態の事例〕
一方、屋外では地上に到達する太陽光は７６０ｎｍ近傍、９４０ｎｍ近傍、１１３０ｎｍ近傍、１４００ｎｍ近傍の光が大気中に吸収されているので、これらの波長に光源波長を整合させると、屋外での太陽光による赤外帯域のノイズ成分を避けることができる。これらの特定波長の光を発光部３２２から被写体に照射し、その反射光を透過する光学バンドパスフィルタ５０６を設けることにより直接的な外乱によるＳ／Ｎ比（Signal-Noise ratio：信号雑音比）を大幅に改善できる。
【０２１４】
この点は第１実施形態でも同様であるが、光源波長を特定波長に整合させただけでは、赤外光成分の残りの分が検知されるので、特定波長に由来する正確な情報を得るには差分処理などの比較処理がほぼ必須となるし、飽和の問題が残る。
【０２１５】
第２実施形態は、この点に着目してなされており、赤外光領域に関しては、光源波長を特定波長に整合させる第１実施形態の仕組みに加えて、特定波長を中心とするバンドパス特性を持つ光学部材を撮像光学経路上に配置することで、赤外画素では特定波長のみを検知するようにしている。
【０２１６】
赤外帯域のノイズ成分をカットするが光源の特定波長帯域の波長成分は透過させる特殊な赤外カットフィルタ光学素子の一例として光学バンドパスフィルタ５０６などを設けることで、特定波長以外の成分が検知部で検知されることを回避できる。特定波長光以外の不要な入射太陽光成分が減少することで飽和の問題も解消される。
【０２１７】
固体撮像素子３１４あるいは撮像システムをこのような構成とすることで、屋外における外乱ノイズの極めて少ない信号を得ることができるし、不要な入射太陽光が減少することで受光素子の飽和の問題も回避できる。室内はもちろん太陽光下でも精度の高い距離計測や物体検出ができるようになる。
【０２１８】
特定波長を中心とするバンドパス特性を持つ光学部材を固体撮像装置（特に固体撮像素子）と一体化する構成にすれば、単一の固体撮像素子にてモノクロ画像やカラー画像と赤外情報を同時に取得することができる。
【０２１９】
モノクロ画像やカラー画像と、被写体に照射する光源による特定波長光に由来する測定画像を同時に取得することができ、たとえば被写体に照射した特定波長光に基づく信号を用いて昼間の屋外でも測距が可能となる。
【０２２０】
なお、アクティブ計測法としては、三角測量法やＴＯＦ法（Time Of Flight）などがあるが、本実施形態では何れの方式でもよい。また、光源の駆動、光源と受光光学系の構成、取得した光信号の処理方法は、どのような方式にも適用できる。
【０２２１】
たとえば特定波長を９４０ｎｍとしたＴＯＦ方式の場合、たとえば９４０ｎｍのＬＥＤ光源を用い、固体撮像素子３１４には、赤、緑、青、赤外の４種類の画素を設ける。光源を高速に変調し、固体撮像素子３１４では、赤、緑、青の各色画素では従来の撮影と同様な駆動方式にて光電変換の信号を出力し、赤外画素では光源で変調した特定波長光に基づく測定画像を取得する。光源から発した特定波長光が変被写体で反射され固体撮像素子３１４に戻るまでの時間から距離を導くための測距演算については、たとえば特開２００９−１４４５９号公報に記載の方法などを適用すればよい。
【０２２２】
＜比較例との対比＞
［第１比較例］
特開２００３−１８５４１２号公報に記載の仕組みを第１比較例とする。第１比較例では、補助光を照射し、「ＲＢＧ画素＋不可視光画素」で受光する構成としている。距離計測の原理は、物体の反射光輝度が距離の２乗に反比例する物理現象を利用するが、第１比較例に記載のように、物体により反射率が異なることから、物体の異なる反射率の違いを補正するようにしている。また、第１比較例では、自然光画像や対象の材質（反射特性）情報などを同時に参照して対象の表面の色情報から対象の反射係数を推定する。しかしながら、実際には物体表面の色情報だけでは物体を特定することは困難であり、物体を特定するには形状や色なども頼りにした信号処理による画像認識が必要となる。
【０２２３】
また、物体が特定できたとしても、生体など自然物は個体ごとに表面状態は異なるため反射率の特定は困難である。この処理はリアルタイム性を実現することが困難であり、たとえば毎秒１０〜３０枚のフレームレートで奥行き情報を獲得し続けることは困難である。仮に、リアルタイム性が実現できたとしても、前述のように物体の反射率特定が困難であるので実現は難しい。
【０２２４】
［第２比較例］
三角測量法を適用した特開平１１−１５３４０８号公報に記載の仕組みを第２比較例とする。第２比較例では、パルス状の光束を繰り返し投射し、測距対象物からの反射光を受光する受光手段と、有効な信号蓄積時間の間、受光手段にて得られる信号電流の蓄積を行なう信号電流蓄積手段にて蓄積された信号を用いて対象物までの距離を算出する。測距対象物の状況により、信号電流を蓄積するところの有効な信号蓄積時間の最大値を変更する蓄積時間可変手段を有している。さらに測距対象物の明るさを判定し、判定結果に応じて有効な信号蓄積時間の最大値を変更するようにしている。具体的には、ショットノイズの影響でＳ／Ｎ比が低下するような明るさ（所定の明るさよりも明るいと判定された場合）であれば、有効な信号蓄積時間の最大値を長く設定し、微弱な信号時の有効な信号蓄積時間を増やしてＳ／Ｎ比を改善するようにし、ショットノイズの影響が無視できる暗い状況では、有効な信号蓄積時間の最大値を短く設定して測距時間を短縮するようにしている。
【０２２５】
第２比較例では、ショットノイズＮ２の影響によるＳ／Ｎ悪化に対してショットノイズの特性に着目している。すなわち、信号成分は信号蓄積時間に比例して大きくなるが、ショットノイズ成分は信号蓄積時間の平方根に比例することから、信号蓄積時間を延ばすことにより、Ｓ／Ｎ比は信号蓄積時間の平方根にほぼ比例して徐々に改善されることによりＳ／Ｎの改善を実現しようとしている。しかしながら、通常は撮影環境中に信号光の波長と同じ成分の外乱光が含まれているため、「信号光＋外乱光Ｎ３」がここでいう信号光となる。外乱光成分Ｎ３を含めたＳ／ＮはＳ／（√（Ｎ１＾２＋Ｎ２＾２）＋Ｎ３）の関係となる。Ｎ１は回路ノイズのレベルである。
【０２２６】
また、屋外では可視光から赤外光までの幅広い光が存在しているので、外乱光と信号光のＳ／Ｎは長時間信号蓄積をしても比例関係にあるため、想定通りの改善効果が得られず、露光時間のコントロールではＳ／Ｎの改善は困難である。屋外の外乱光は信号光よりも桁違いに大きい値であり、これに対抗するには信号光を強力にするほかなく、非常に強力な光源が必要となり大型化や大消費電力を伴う。
【０２２７】
［第３比較例］
光伝搬飛行時間方式（Time Of Fright）を適用した特開２００９−１４４５９号公報に記載の仕組みを第３比較例とする。第３比較例では、太陽光が可視帯域（５００ｎｍ程度）にピークを有するのに対し、たとえば８７０ｎｍにピークを有する近赤外発光ＬＥＤを用いて、かつ、可視帯域の光を適当な可視帯域カットフィルタで除去する。これにより太陽光に含まれる最も強い光（可視光成分）に比べて光が少ない赤外光を利用することでノイズ成分の低減を実現している。
【０２２８】
ここで、第３比較例において、可視光画素上には不可視光除去フィルタ、不可視光画素には可視光除去フィルタを設ける構成を採った場合（請求項７、図１２の構成）、屋外における太陽光は非常に強い。そのため補助光に８７０ｎｍの赤外光を用いても受光される可視光を除いた赤外光帯域成分の積算値は補助光に比較できないくらい大きいことに変わりはない。第３比較例の技術を用いてもノイズ成分となる根本的な太陽光成分は減っていないので、計測に十分な補助光の反射成分（信号光）を得ることは困難である。仮に太陽光の光量に比べて十分な補助光を用いた場合には、信号光を得ることはできるが、その代わりに補助光源は非常に大出力が必要になることから大型化や大消費電力が避けられない。これはカメラシステムの大型化または使用時間が短縮に繋がるため実現は困難である。
【０２２９】
［第４比較例］
照射パターン方式を適用した特開平７−２１８２３２号公報に記載の仕組みを第４比較例とする。第４比較例では、光学式三次元形状計測装置が開示されているが、この装置は、被検物の表面に所定のパターン像を投影するための照射光学系と、被検物の表面に投影されたパターン像を観察するための観察光学系とを備え、観察されたパターン像の変化に基づいて被検物の表面形状を計測する。照射光学系は、その光軸に沿って複数の合焦面にそれぞれ所定のパターン像を形成する合焦面分割手段を備えている。
【０２３０】
しかしながら、第４比較例の場合、照射パターンの変形状態を画像認識で取得しパターンの変形状態から奥行き情報を得るために異なるタイミングで複数の合焦面にパターンの照射と画像認識を必要とすることから、画素数が大きい場合においては演算処理が非常に大きくなりリアルタイム計測が困難である。これを避けるために同時に複数の合焦面に対して所定のパターンを形成すると異なる合焦面間のパターンを分離することができなくなり認識することが困難となる。
【０２３１】
［対比］
第１比較例〜第４比較例の何れも、屋外で使用する際には太陽光による外乱ノイズが大きな問題となる。太陽光は可視光成分に比べて赤外光成分は光強度が少ないことを利用して、赤外光領域の光を光源として利用するようにしているが、地上に到達する太陽光の成分とそのエネルギ量を考えると、十分な信号を検出することは非常に困難である。
【０２３２】
たとえば第３比較例に記載のような８７０ｎｍのＬＥＤ光源を使ったとしても８７０ｎｍ以外の太陽光ノイズ成分が多いので根本的なＳ／Ｎは改善し難い。２画素差分で太陽光ノイズ成分をキャンセルする方法を適用したとしても、一旦光電変換されてしまった太陽光のノイズ成分を差分演算しても、第２比較例に記載のように光電変換時に信号量に伴いノイズが生じてしまうので差分演算をしても根本的に全ての成分をキャンセルできるわけではない。また、太陽光が強すぎるために受光素子が飽和してしまう。特別な回路を追加して対処する手法もあるが（たとえば特開２００８−０８９３４６号公報）、回路規模が大きくなる。
【０２３３】
一方、第２実施形態では、太陽光吸収波長と対応する特定波長の光を発する光源を使用するとともに、特定波長を中心とする狭帯域のバンドパス特性を持つ光学部材を撮像光学経路上に配置するようにしたので、特定波長以外の成分を受光しないようにできる。このため、特定波長光以外の成分によるノイズの問題を回避できるし、特別な回路を使用せずに、飽和の問題も回避できる。
【０２３４】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２３５】
また、前記の実施形態は、クレーム（請求項）に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２３６】
たとえば、前記実施形態では、主に赤外光領域中の特定波長（特に太陽光の吸収波長）に着目して説明したが、第２実施形態の第１例の冒頭に説明したように、特定波長は赤外光領域中のものに限らない。また、特定波長を利用した物理情報の取得の一例として、距離情報や物体の３次元画像を取得する例を説明したが、特定波長を利用した物理情報の取得はこれらに限らない。
【符号の説明】
【０２３７】
３００…撮像装置、３０２…撮影光学系、３０４…光学ローパスフィルタ、３１０…撮像部、３１２…色フィルタ群、３１４…固体撮像素子、３１８…マイクロレンズ、３１９…保護層、３２０…駆動制御部、３２２…発光部、３３０…撮像信号処理部、３４０…画像信号処理部、３８０…表示部、３９０…データ記録部、５００…光学フィルタ部、５０２，５０４，５０６，５０８…光学バンドパスフィルタ、５１０，５２０…色フィルタ部、５１２…可視光カットフィルタ、５３０，５４０，５５１，５５５…光学バンドパスフィルタ、５５２，５５６…ハイパスフィルタ、５５４，５５８…ローパスフィルタ５５４
【特許請求の範囲】
【請求項１】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、前記特定波長と対応した波長の電磁波を発する電磁波出力部と、
前記特定波長の電磁波を検知する第１の検知部と、
前記第１の検知部から得られた検知情報に基づいて信号処理を行なう信号処理部と、
を備えた物理情報取得装置。
【請求項２】
第２の波長領域が可視光の波長領域であり、前記第１の波長領域は少なくとも第２の波長領域を除く波長領域である
請求項１に記載の物理情報取得装置。
【請求項３】
前記第１の波長領域は赤外光領域である
請求項２に記載の物理情報取得装置。
【請求項４】
前記特定波長は、太陽光の地上到達波長特性における吸収波長である
請求項３に記載の物理情報取得装置。
【請求項５】
前記第１の波長領域は可視光の波長領域であり、前記特定波長は、可視光帯内の特定の波長スペクトルを発する光源の波長とは異なる波長の領域である
請求項１に記載の物理情報取得装置。
【請求項６】
画像取得対象の物体に対して照射光を照射する電磁波照射部と、
前記電磁波照射部による前記照射光によって前記物体が照らされた状態の画像成分の電荷を検知する第１の検知部と、
前記物体が自然光のみに照らされた状態の画像成分の電荷を検知する第２の検知部と、
前記第１の検知部と前記第２の検知部のそれぞれから得られた検知情報に基づいて信号処理を行なう信号処理部と、
を備え、
前記電磁波照射部は、可視光の波長領域を除く波長領域における一部の特定波長の光を発する
物理情報取得装置。
【請求項７】
前記特定波長を中心とするバンドパス特性を持つ第１の光学部材が撮像光学経路上に配置されている
請求項１〜請求項６の何れか一項に記載の物理情報取得装置。
【請求項８】
前記第１の光学部材は、前記特定波長以外の波長を除去する
請求項７に記載の物理情報取得装置。
【請求項９】
前記第１の光学部材は、可視光と前記特定波長以外の波長の成分を抑制する
請求項８に記載の物理情報取得装置。
【請求項１０】
前記第１の光学部材は、前記第１の波長領域に関して、前記特定波長よりも少し低波長側をカットオフとするハイパスフィルタと、前記特定波長よりも少し長波長側をカットオフとするローパスフィルタとを組み合わせたものである
請求項８または請求項９に記載の物理情報取得装置。
【請求項１１】
前記第１の波長領域を含まない第２の波長領域の電磁波を検知する第２の検知部を備える
請求項１〜請求項１０の何れか一項に記載の物理情報取得装置。
【請求項１２】
前記第１の波長領域を含まない第２の波長領域の電磁波を検知する第２の検知部を備え、
前記第１の検知部は、前記第２の波長領域の成分よりも長波長側の前記第１の波長領域の成分を検知するものであり、
前記第１の検知部と前記第２の検知部とが、所定の順に同一の半導体基板上に配されており、
前記半導体基板の表面からの深さ方向において、前記第１の検知部の有効検知領域は、前記第２の検知部の有効検知領域よりも深いところに設定されている
請求項９に記載の物理情報取得装置。
【請求項１３】
前記半導体基板の表面からの深さ方向において、前記第１の検知部の第１導電型のドーパントが形成されている有効領域が、前記第２の検知部の前記第１導電型のドーパントが形成されている有効領域よりも深いところまで達している
請求項１２に記載の物理情報取得装置。
【請求項１４】
半導体基板の表面からの深さ方向における電磁波を検知する検知部の第１導電型のドーパントが形成されている有効領域において、前記ドーパントの濃度が、前記半導体基板の表面側から深くなるほど低濃度となる変調ドーピングが施されている
請求項１３に記載の物理情報取得装置。
【請求項１５】
前記第１の検知部の受光光路中には、前記第１の波長領域を含まない第２の波長領域の電磁波を抑制する第２の光学部材が配置されている
請求項９に記載の物理情報取得装置。
【請求項１６】
光路上の前記第２の検知部と対応する部分には可視光帯を色分離する色フィルタが設けられている
請求項６、請求項１１、請求項１２〜請求項１４の何れか一項に記載の物理情報取得装置。
【請求項１７】
光路上の前記第１の検知部と対応する部分には可視光を抑制する色フィルタが設けられている
請求項１６に記載の物理情報取得装置。
【請求項１８】
前記信号処理部は、前記特定波長成分の光に由来する画像情報に基づいて被写体距離の計測または物体検出を行なう
請求項１〜請求項１７の何れか一項に記載の物理情報取得装置。
【請求項１９】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき前記特定波長と対応した波長の電磁波を発する電磁波出力部から発せられ、物体で反射した成分を検知する検知部を備え、
前記特定波長を中心とするバンドパス特性を持つ光学部材が前記検知部上に配置されている
固体撮像装置。
【請求項２０】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、前記特定波長と対応した波長の電磁波を物体に照射し、
物体で反射した前記特定波長の電磁波を検知部で検知し、
前記検知部から得られた検知情報に基づいて信号処理を行なう
物理情報取得方法。
【請求項１】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、前記特定波長と対応した波長の電磁波を発する電磁波出力部と、
前記特定波長の電磁波を検知する第１の検知部と、
前記第１の検知部から得られた検知情報に基づいて信号処理を行なう信号処理部と、
を備えた物理情報取得装置。
【請求項２】
第２の波長領域が可視光の波長領域であり、前記第１の波長領域は少なくとも第２の波長領域を除く波長領域である
請求項１に記載の物理情報取得装置。
【請求項３】
前記第１の波長領域は赤外光領域である
請求項２に記載の物理情報取得装置。
【請求項４】
前記特定波長は、太陽光の地上到達波長特性における吸収波長である
請求項３に記載の物理情報取得装置。
【請求項５】
前記第１の波長領域は可視光の波長領域であり、前記特定波長は、可視光帯内の特定の波長スペクトルを発する光源の波長とは異なる波長の領域である
請求項１に記載の物理情報取得装置。
【請求項６】
画像取得対象の物体に対して照射光を照射する電磁波照射部と、
前記電磁波照射部による前記照射光によって前記物体が照らされた状態の画像成分の電荷を検知する第１の検知部と、
前記物体が自然光のみに照らされた状態の画像成分の電荷を検知する第２の検知部と、
前記第１の検知部と前記第２の検知部のそれぞれから得られた検知情報に基づいて信号処理を行なう信号処理部と、
を備え、
前記電磁波照射部は、可視光の波長領域を除く波長領域における一部の特定波長の光を発する
物理情報取得装置。
【請求項７】
前記特定波長を中心とするバンドパス特性を持つ第１の光学部材が撮像光学経路上に配置されている
請求項１〜請求項６の何れか一項に記載の物理情報取得装置。
【請求項８】
前記第１の光学部材は、前記特定波長以外の波長を除去する
請求項７に記載の物理情報取得装置。
【請求項９】
前記第１の光学部材は、可視光と前記特定波長以外の波長の成分を抑制する
請求項８に記載の物理情報取得装置。
【請求項１０】
前記第１の光学部材は、前記第１の波長領域に関して、前記特定波長よりも少し低波長側をカットオフとするハイパスフィルタと、前記特定波長よりも少し長波長側をカットオフとするローパスフィルタとを組み合わせたものである
請求項８または請求項９に記載の物理情報取得装置。
【請求項１１】
前記第１の波長領域を含まない第２の波長領域の電磁波を検知する第２の検知部を備える
請求項１〜請求項１０の何れか一項に記載の物理情報取得装置。
【請求項１２】
前記第１の波長領域を含まない第２の波長領域の電磁波を検知する第２の検知部を備え、
前記第１の検知部は、前記第２の波長領域の成分よりも長波長側の前記第１の波長領域の成分を検知するものであり、
前記第１の検知部と前記第２の検知部とが、所定の順に同一の半導体基板上に配されており、
前記半導体基板の表面からの深さ方向において、前記第１の検知部の有効検知領域は、前記第２の検知部の有効検知領域よりも深いところに設定されている
請求項９に記載の物理情報取得装置。
【請求項１３】
前記半導体基板の表面からの深さ方向において、前記第１の検知部の第１導電型のドーパントが形成されている有効領域が、前記第２の検知部の前記第１導電型のドーパントが形成されている有効領域よりも深いところまで達している
請求項１２に記載の物理情報取得装置。
【請求項１４】
半導体基板の表面からの深さ方向における電磁波を検知する検知部の第１導電型のドーパントが形成されている有効領域において、前記ドーパントの濃度が、前記半導体基板の表面側から深くなるほど低濃度となる変調ドーピングが施されている
請求項１３に記載の物理情報取得装置。
【請求項１５】
前記第１の検知部の受光光路中には、前記第１の波長領域を含まない第２の波長領域の電磁波を抑制する第２の光学部材が配置されている
請求項９に記載の物理情報取得装置。
【請求項１６】
光路上の前記第２の検知部と対応する部分には可視光帯を色分離する色フィルタが設けられている
請求項６、請求項１１、請求項１２〜請求項１４の何れか一項に記載の物理情報取得装置。
【請求項１７】
光路上の前記第１の検知部と対応する部分には可視光を抑制する色フィルタが設けられている
請求項１６に記載の物理情報取得装置。
【請求項１８】
前記信号処理部は、前記特定波長成分の光に由来する画像情報に基づいて被写体距離の計測または物体検出を行なう
請求項１〜請求項１７の何れか一項に記載の物理情報取得装置。
【請求項１９】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき前記特定波長と対応した波長の電磁波を発する電磁波出力部から発せられ、物体で反射した成分を検知する検知部を備え、
前記特定波長を中心とするバンドパス特性を持つ光学部材が前記検知部上に配置されている
固体撮像装置。
【請求項２０】
電磁波の少なくとも第１の波長領域に関して、前記第１の波長領域において電磁波エネルギが他の波長よりも低い波長を特定波長としたとき、前記特定波長と対応した波長の電磁波を物体に照射し、
物体で反射した前記特定波長の電磁波を検知部で検知し、
前記検知部から得られた検知情報に基づいて信号処理を行なう
物理情報取得方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図１５】
【図１６】
【図１７】
【図１８】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図１５】
【図１６】
【図１７】
【図１８】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１９９７９８（Ｐ２０１１−１９９７９８Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６７２３１（Ｐ２０１０−６７２３１）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]