固体撮像装置、カメラ、車両及び監視装置
【課題】距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を提供する。
【解決手段】本発明に係る固体撮像装置は、第１撮像領域１１５と第２撮像領域１１６とを含む領域に行列状に配置された複数の光電変換素子１１１を備える撮像部１１０と、第１撮像領域１１５へ光を入射させる第１光入射部１５０と、第１光入射部１５０と離間して設けられ、第２撮像領域１１６へ光を入射させる第２光入射部１５１と、第１撮像領域１１５により光電変換された信号電荷を電圧又は電流に変換し第１映像信号として出力し、第２撮像領域１１６により光電変換された信号電荷を電圧又は電流に変換し第２映像信号として出力する出力部１１４と、第１映像信号及び第２映像信号から、被写体１６０までの距離に関する情報を算出する算出部１２０とを備え、撮像部１１０と、出力部１１４と、算出部１２０とは、同一の半導体基板に形成される。
【解決手段】本発明に係る固体撮像装置は、第１撮像領域１１５と第２撮像領域１１６とを含む領域に行列状に配置された複数の光電変換素子１１１を備える撮像部１１０と、第１撮像領域１１５へ光を入射させる第１光入射部１５０と、第１光入射部１５０と離間して設けられ、第２撮像領域１１６へ光を入射させる第２光入射部１５１と、第１撮像領域１１５により光電変換された信号電荷を電圧又は電流に変換し第１映像信号として出力し、第２撮像領域１１６により光電変換された信号電荷を電圧又は電流に変換し第２映像信号として出力する出力部１１４と、第１映像信号及び第２映像信号から、被写体１６０までの距離に関する情報を算出する算出部１２０とを備え、撮像部１１０と、出力部１１４と、算出部１２０とは、同一の半導体基板に形成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置、カメラ、車両及び監視装置に関し、特に、独立した複数の光入射経路から入射した光を撮像し、映像信号を出力する固体撮像装置に関する。
【背景技術】
【０００２】
立体映像の撮像、又は、被写体までの距離に関する情報（以下、「距離情報」と記す。）を伴った映像情報を得るために、２つの撮像領域を備えるカメラが用いられている。距離情報を伴う映像情報を出力するカメラは、車載用カメラとして用いることで、前方の障害の大きさ及び距離を検知し、ドライバに警告を発することができる。さらに、障害物の検知にともない、自動的にエンジン、ブレーキ及びステアリング等を制御することで、障害物への衝突を回避することができる。さらに、車内に設けたカメラにより、乗員の大きさ（大人又は子供等）、及び乗員の頭部の位置等を検知し、エアバックのＯｐｅｎスピード及び圧力等を制御することができる。
【０００３】
また、距離情報を伴う映像情報を出力するカメラは、監視カメラ及びＴＶ電話等のカメラとして用いた場合には、所定の距離内の被写体のみを撮像及び表示することで、映像情報のデータ量の削減及び視認性の向上を実現することができる。
【０００４】
従来の立体映像の撮像を行うカメラとしては、２台のカメラを備えるステレオカメラが知られている。
【０００５】
図１９は、従来の立体映像を撮像する固体撮像装置の構成を示す図である。
図１９に示す固体撮像装置１０００は、ステレオカメラであり、カメラ１００１及び１００２を備える。カメラ１００１及び１００２は所定の距離を隔てて設置される。カメラ１００１及び１００２が撮像した映像信号より、立体映像が生成される。
【０００６】
図１９に示す従来の固体撮像装置１０００は、２台のカメラ１００１及び１００２を用いるため、カメラ１００１及び１００２における製造ばらつき等の影響により、十分なエピポーラ性を保てない（２台のカメラが撮像した映像信号に位置的なズレが生じる）という問題と、２台のカメラ１００１及び１００２の撮像特性が同一ではないという問題と、２台のカメラから出力される信号の出力タイミングに時間的遅延が生じるという問題とにより、距離情報を算出するために多大な調整工数及び信号処理工程を必要とする。
【０００７】
上記問題に対して、１チップのＬＳＩ（Large Scale Integration）として、２つの撮像領域を備えるステレオカメラが知られている（例えば、特許文献１参照。）。
【０００８】
特許文献１記載のステレオカメラは、被写体を撮像する２つの撮像領域を１チップ化することにより、２つの撮像領域の製造ばらつきの影響を低減することができる。
【特許文献１】特開平９−７４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオカメラ等の立体映像の撮像、又は、距離情報を伴った映像情報を出力するカメラにおいては、エピポーラ性、２つのカメラの撮像特性の同一性、及び信号出力タイミングの同期性等を向上させることで、距離情報を高精度かつ効率よく算出できることが望まれる。
【００１０】
また、従来のステレオカメラは、撮像領域と、撮像領域で撮像された映像信号から距離情報を算出する信号処理部とは、異なる半導体基板に形成されており、撮像領域と信号処理部との配線が長くなる。これにより、映像信号の伝送速度が十分でないという問題がある。また、配線が長いため、ノイズの影響を受けやすいという問題がある。特に、車載用のカメラとして用いる場合には、ノイズに対し高い耐性が要求される。
【００１１】
そこで、本発明は、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る固体撮像装置は、第１撮像領域と第２撮像領域とを含む領域に行列状に配置された複数の光電変換素子を備える撮像部と、前記第１撮像領域へ光を導いて入射させる第１光入射部と、前記第１光入射部と離間して設けられ、前記第２撮像領域へ光を導いて入射させる第２光入射部と、前記第１撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記第２撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段とを備え、前記撮像部と、前記出力手段と、前記算出手段とは、同一の半導体基板に形成される。
【００１３】
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、撮像部と算出手段との間の配線を短くすることができる。よって、ノイズに対する耐性を向上させることができる。また、第１映像信号及び第２映像信号の伝送速度を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。また、第１映像信号及び第２映像信号と、被写体までの距離に関する情報とを外部に出力することができる。
【００１４】
また、前記算出手段は、前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、前記視差算出手段が算出した前記視差を保持する第２保持手段とを備えてもよい。
【００１５】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、視差とを外部に出力することができる。
【００１６】
また、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力してもよい。
【００１７】
この構成によれば、映像信号のｍ行×ｎ列毎に対する視差を算出することができる。
また、前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出してもよい。
【００１８】
この構成によれば、外部から視差算出を行うブロック単位（ｍ１行×ｎ１列）を任意に設定することができる。
【００１９】
また、前記第１光入射部は、第１の周波数帯域の光を前記第１撮像領域に集光する第１集光手段と、前記第１撮像領域上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタとを備え、前記第２光入射部は、前記第１の周波数帯域と異なる第２の周波数帯域の光を前記第２撮像領域に集光する第２集光手段と、前記第２撮像領域上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備えてもよい。
【００２０】
この構成によれば、第１集光手段により集光された第１の周波数帯域の光は、第２のフィルタにより遮断されるので、第２撮像領域には照射されない。よって、第２撮像領域に対する第１の周波数帯域の光の干渉を低減することができる。また、第２集光手段により集光された第２の周波数帯域の光は、第１のフィルタにより遮断されるので、第１撮像領域には照射されない。よって、第１撮像領域に対する第２の周波数帯域の光の干渉を低減することができる。また、第１のフィルタ及び第２のフィルタを備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。
【００２１】
また、前記固体撮像装置は、さらに、行列状に配置された複数の光電変換素子を備える第３撮像領域と、前記第３撮像領域へ光を導いて入射させる第３光入射部とを備え、前記第３光入射部は、前記第１の周波数帯域及び前記第２の周波数帯域を含む第５の周波数帯域の光を前記第３撮像領域に集光する第３集光手段と、前記第３撮像領域上に形成される第３のフィルタを備え、前記第３のフィルタは、前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第１の光電変換素子上に形成され、前記第２の周波数帯域の光を遮断し、前記第３の周波数帯域の光を透過する第４のフィルタと、前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第２の光電変換素子上に形成され、前記第１の周波数帯域の光を遮断し、前記第４の周波数帯域の光を透過する第５のフィルタとを含んでもよい。
【００２２】
この構成によれば、第３撮像領域は、第１の周波数帯域の光を光電変換した信号と、第２の周波数帯域の光を光電変換した信号とを出力する。ここで、第１のフィルタ及び第２のフィルタを設け、第１撮像領域と第２撮像領域とに異なる周波数帯域の光を入射した場合、第１撮像領域と第２撮像領域とが出力する映像信号の信号レベルに差が生じる。第３撮像領域が出力する第１の周波数帯域の光を光電変換した信号と、第２の周波数帯域の光を光電変換した信号との比を用いて、第１撮像領域及び第２撮像領域が出力する映像信号を補正することで、周波数帯域の差による信号レベルの差を低減することができる。
【００２３】
また、前記固体撮像装置は、さらに、前記複数の第１の光電変換素子が光電変換した信号の平均値である第１平均値と、前記複数の第２の光電変換素子が光電変換した信号の平均値である第２平均値とを算出する平均値算出手段と、前記平均値算出手段が算出した前記第１平均値及び第２平均値の比に基づき、前記第１映像信号及び前記第２映像信号を補正する補正手段とを備えてもよい。
【００２４】
この構成によれば、補正手段は、平均値算出手段が算出した第１平均値と第２平均値との比を用いて、第１映像信号及び第２映像信号を補正する。これにより、第１撮像領域及び第２撮像領域に入射する光の周波数帯域の差による、第１映像信号と第２映像信号との信号レベルの差を低減することができる。
【００２５】
また、前記第１のフィルタ及び前記第２のフィルタは、第１誘電体層及び第２誘電体層と、前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なってもよい。
【００２６】
この構成によれば、第１のフィルタ及び第２のフィルタに、耐光性及び耐熱性に優れた多層膜干渉フィルタが用いられる。これにより、無機材料のみを用いてフィルタを構成することができる。フィルタを無機材料のみで構成することで、高温及び高照射下で使用しても退色現象を生じない。よって、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００２７】
また、前記固体撮像装置は、さらに、前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備えてもよい。
【００２８】
この構成によれば、光源が被写体に照射した光の反射光を第１撮像領域及び第２撮像領域で受光することができる。これにより、夜間及び暗所での撮像を行うことができる。
【００２９】
また、前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれてもよい。
この構成によれば、近赤外領域の光を用いて、被写体の撮像を行うことができる。これにより、車載カメラ等として本発明の固体撮像装置を用いた場合に、視認性の向上と、対向車両及び歩行者に対する眩惑の防止とを実現することができる。
【００３０】
また、前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備えてもよい。
【００３１】
この構成によれば、各行の光電変換素子に蓄積された信号電荷を同時にデジタル信号に変換し（Ａ／Ｄ変換し）、出力することができる。よって、第１映像信号及び第２映像信号の読出しを高速に行うことができる。
【００３２】
また、前記算出手段は、さらに、前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備えてもよい。
【００３３】
この構成によれば、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【００３４】
また、本発明に係るカメラは、前記固体撮像装置を備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出するカメラを実現することができる。
【００３５】
また、本発明に係る車両は、前記カメラを備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出する車両を実現することができる。
【００３６】
また、本発明に係る監視装置は、前記カメラを備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出する監視装置を実現することができる。
【発明の効果】
【００３７】
本発明は、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３９】
（実施の形態１）
本発明の実施の形態１に係る固体撮像装置は、同一の半導体基板に撮像部と、撮像部で撮像した２つの映像信号から、被写体までの距離の情報を算出する信号処理部とが形成される。これにより、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を実現することができる。
【００４０】
まず、本実施の形態に係る固体撮像装置の構成を説明する。
図１は、本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【００４１】
図１に示す固体撮像装置１００は、撮像の被写体１６０の映像情報及び距離情報を出力する。固体撮像装置１００は、例えば、車両に搭載された近赤外領域の光（以下、「近赤外光」と記す。）を用いた暗視機能を有するカメラである。固体撮像装置１００は、半導体装置１０１と、光源１４０と、レンズ１５０及び１５１とを備える。半導体装置１０１は、１チップの半導体集積回路である。半導体装置１０１は、撮像部１１０と、信号処理部１２０と、制御部１３０とを備える。すなわち、撮像部１１０と、信号処理部１２０と、制御部１３０とは、同一の半導体基板に形成される。
【００４２】
光源１４０は、近赤外光（波長７００ｎｍ〜１１００ｎｍ）を被写体１６０に照射する。光源１４０は、例えば、ＬＥＤ（発光ダイオード）又は半導体レーザで構成される。
【００４３】
レンズ１５０及び１５１は、被写体１６０からの反射光を撮像部１１０に集光する。レンズ１５０は、被写体１６０からの反射光を第１撮像領域１１５に集光する。レンズ１５１は、被写体１６０からの反射光を第２撮像領域１１６に集光する。レンズ１５１は、レンズ１５０と水平方向に離間して設けられる。
【００４４】
撮像部１１０は、ＣＭＯＳイメージセンサであり、入射光に応じた映像信号を出力する。撮像部１１０被写体１６０からの反射光を電気信号に変換し、変換した電気信号を２つの映像信号（左画像及び右画像）として出力する。具体的には、撮像部１１０は、レンズ１５０で集光された光を電気信号に変換し、変換した電気信号を左画像として出力する。撮像部１１０は、レンズ１５１で集光された光を電気信号に変換し、変換した電気信号を右画像として出力する。
【００４５】
図２は、撮像部１１０及び信号処理部１２０の構成を示す図である。撮像部１１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。
【００４６】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５と第２撮像領域１１６とを含む領域に配置される。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。なお、行列状に配置される複数の光電変換素子１１１の行方向は水平方向に対応し、列方向は垂直方向に対応する。また、図２において６行×６列の光電変換素子１１１が配置されているが、光電変換素子１１１の数は、これに限定されるものではない。
【００４７】
垂直走査部１１２は、複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【００４８】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【００４９】
Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。すなわち、Ａ／Ｄ変換部１１４は、光電変換素子１１１に蓄積された信号電荷に基づくアナログ信号を、デジタル信号に変換し映像信号として出力する。また、Ａ／Ｄ変換部１１４が出力する映像信号は、第１撮像領域１１５に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した左画像に対応する映像信号と、第２撮像領域１１６に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した右画像に対応する映像信号とが含まれる。
【００５０】
制御部１３０は、撮像部１１０及び信号処理部１２０を制御する。具体的には、制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。電荷蓄積制御信号は、複数の光電変換素子１１１の電荷蓄積時間（露光時間）を制御するための信号である。
【００５１】
信号処理部１２０は、被写体までの距離情報を、撮像部１１０が出力する左画像と右画像とから算出し、映像信号１２１及び距離情報１２２を外部に出力する。信号処理部１２０は、映像信号保持部１２３と、距離情報算出部１２４と、距離情報保持部１２５とを備える。
【００５２】
映像信号保持部１２３は、撮像部１１０が出力する映像信号である左画像及び右画像を保持する。また、映像信号保持部１２３は、保持する映像信号１２１を外部に出力する。
【００５３】
距離情報算出部１２４は、映像信号保持部１２３が保持する左画像及び右画像から、被写体までの距離情報である視差を算出する。
【００５４】
距離情報保持部１２５は、距離情報算出部１２４が算出した距離情報（視差）を保持する。また、距離情報保持部１２５は、保持する距離情報１２２を外部に出力する。
【００５５】
図３は、撮像部１１０の第１撮像領域１１５及び第２撮像領域１１６の断面構造を模式的に示す図である。図３に示すように、固体撮像装置１００は、さらに、フィルタ１５２、１５３、１５４及び１５５を備える。フィルタ１５２、１５３、１５４及び１５５は、例えば、多層膜干渉フィルタである。
【００５６】
被写体１６０からの反射光は、フィルタ１５２、レンズ１５０及びフィルタ１５４からなる光入射経路により、第１撮像領域１１５に入射される。また、被写体１６０からの反射光は、フィルタ１５３、レンズ１５１及びフィルタ１５５からなる光入射経路により、第２撮像領域１１６に入射される。フィルタ１５２は、レンズ１５０の上部に形成され、第１の周波数帯域の光のみを透過する。すなわち、フィルタ１５２及びレンズ１５０により、第１の周波数帯域の光は第１撮像領域１１５に集光される。フィルタ１５３は、レンズ１５１の上部に形成され、第２の周波数帯域の光のみを透過する。すなわち、フィルタ１５３及びレンズ１５１により、第２の周波数帯域の光は第２撮像領域１１６に集光される。フィルタ１５４は、第１撮像領域１１５上に形成され、第１の周波数帯域の光のみを透過する。フィルタ１５５は、第２撮像領域１１６上に形成され、第２の周波数帯域の光のみを透過する。ここで、第１の周波数帯域及び第２の周波数帯域は、近赤外領域（波長７００ｎｍ〜１１００ｎｍ）内の、互いに重複しない異なる周波数帯域である。例えば、第１の周波数帯域は、波長７５０ｎｍ〜８５０ｎｍの周波数帯域であり、第２の周波数帯域は、波長９５０ｎｍ〜１０５０ｎｍの周波数帯域である。
【００５７】
図４は、フィルタ１５２の断面構造を模式的に示す図である。なお、フィルタ１５３〜１５５の断面構造も図４と同様である。
【００５８】
図４（ａ）に示すフィルタ１５２は、上部反射層１６１と、スペーサ層１６２と、下部反射層１６３とを備える。スペーサ層１６２は下部反射層１６３上に積層され、上部反射層１６１は、スペーサ層１６２上に積層される。
【００５９】
上部反射層１６１及び下部反射層１６３は、３層の高屈折率材料で構成される層１６４と、３層の低屈折率材料で構成される層１６５とを、交互に積層した構造である。高屈折率材料で構成される層１６４は、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。低屈折率材料で構成される層１６５は、例えば、酸化シリコンＳｉＯ2（屈折率１．４５）で構成される。スペーサ層１６２は、高屈折率材料で構成され、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。また、フィルタ１５２は、スペーサ層１６２を中心にして、光学膜厚λ／４（λ：設定中心波長）の多層膜構造の上部反射層１６１及び下部反射層１６３が対称となるように配置される。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層１６２の膜厚を変化させることによって、その透過ピーク波長を変化させることができる。
【００６０】
図５は、図４（ａ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、透過率の計算には誘電体多層膜干渉フィルタにおいて広く知られている特性マトリクス法を用いた。図５に示すように、例えば、ＴｉＯ2層１６４を９０ｎｍとし、ＳｉＯ2層１６５を１５５ｎｍとすることで、実線１７４で示す特性の設定中心波長９００ｎｍの多層膜干渉フィルタを構成することができる。また、ＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとすることで、破線１７５で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。ここで、スペーサ層１６２は、光学膜厚をλ／２としている。また、図５に示すように、図４（ａ）に示すフィルタ１５２は、短波長帯（波長８００ｎｍ以下）の光を透過する特性を有するが、短波長カット光学フィルタ（例えば朝日分光（株）ＬＩＯ８４０等：図５の二点鎖線１７６）を併用することで、波長９００ｎｍ又は１０００ｎｍの光のみを透過することができる。
【００６１】
なお、フィルタ１５２の構成は、図４（ｂ）に示すように、所定の膜厚及び層数のＴｉＯ2層とＳｉＯ2層とを積層した、反射層１６６と、反射層１６７と、多層膜干渉フィルタ１６８とを構成してもよい。
【００６２】
図６は、図４（ｂ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、図４（ｂ）に示す多層膜干渉フィルタ１６８は、例えば、図４（ａ）に示す構造である。多層膜干渉フィルタ１６８の上部反射層１６１と、スペーサ層１６２と、下部反射層１６３との膜厚及び層数を設定することで、設定中心波長をそれぞれ８００ｎｍ、又は１０００ｎｍの多層膜干渉フィルタを構成する。さらに、多層膜干渉フィルタ１６８上に、反射層１６６及び１６７を積層することにより、短波長側の透過特性を抑圧する。これにより、図６に示す実線１７７で示す特性の設定中心波長８００ｎｍの多層膜干渉フィルタ及び破線１７８で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。例えば、多層膜干渉フィルタ１６８に含まれるＴｉＯ2層１６４を７９ｎｍとし、ＳｉＯ2層１６５を１３７ｎｍとし、反射層１６７に含まれる最上層及び最下層のＴｉＯ2層１６４を２０ｎｍとし、それ以外のＴｉＯ2層１６４を４０ｎｍとし、ＳｉＯ2層１６５を６８ｎｍとし、反射層１６６に含まれる最上層及び最下層のＴｉＯ2層１６４を２７ｎｍとし、それ以外のＴｉＯ2層１６４を５４ｎｍとし、ＳｉＯ2層１６５を９４ｎｍとすることで、設定中心波長８００ｎｍの多層膜干渉フィルタを構成することができる。また、多層膜干渉フィルタ１６８に含まれるＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとし、反射層１６７に含まれる最上層及び最下層のＴｉＯ2層１６４を２５ｎｍとし、それ以外のＴｉＯ2層１６４を５０ｎｍとし、ＳｉＯ2層１６５を８６ｎｍとし、反射層１６６に含まれる最上層及び最下層のＴｉＯ2層１６４を３５ｎｍとし、それ以外のＴｉＯ2層１６４を７０ｎｍとし、ＳｉＯ2層１６５を１２０ｎｍとすることで、設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。
【００６３】
なお、高屈折率材料で構成される層１６４は、酸化チタンＴｉＯ2で構成されるとしたが、窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ2Ｏ5）、又は酸化ジルコニウム（ＺｒＯ2）等で構成してもよい。また、低屈折率材料で構成される層１６５は、酸化シリコンＳｉＯ2で構成されるとしたが用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンＳｉＯ2以外の材料を用いてもよい。
【００６４】
また、上述した設定中心波長、スペーサ層の膜厚、ペア数は１例であり、所望の分光特性に合わせて設定すればよい。
【００６５】
このように、誘電体多層膜干渉フィルタを用いることで、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように固体撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がない。よって、プロセスの安定化、及び生産性向上に伴う低コスト化を実現することができる。
【００６６】
さらに、誘電体多層膜干渉フィルタを用いることにより、無機材料のみを用いてフィルタを構成することができる。これにより、高温及び高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００６７】
次に、本実施の形態に係る固体撮像装置１００の動作を説明する。
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、フィルタ１５４を介して第１撮像領域１１５に照射される。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、フィルタ１５５を介して第２撮像領域１１６に照射される。ここで、第１撮像領域１１５及び第２撮像領域１１６上にフィルタ１５４及び１５５を備えることにより、フィルタ１５２を介してレンズ１５０で集光された光は、フィルタ１５５で遮断されるので第２撮像領域１１６には入射せず第１撮像領域１１５のみに入射する。また、フィルタ１５３を介してレンズ１５１で集光された光は、フィルタ１５４で遮断されるので第１撮像領域１１５には入射せず、第２撮像領域１１６のみに入射する。すなわち、本発明の実施の形態１に係る固体撮像装置１００は、第１撮像領域１１５及び第２撮像領域１１６に入射する光の干渉を防止することができる。また、フィルタ１５２〜１５４を備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。これにより、単一のＣＭＯＳイメージセンサで、２つのレンズから入射した光を互いに干渉させることなく容易に撮像することができる。
【００６８】
第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された第１の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された第２の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。垂直走査部１１２は、制御部１３０からの垂直同期信号により、行列状に配置された光電変換素子１１１の行を順次選択する。水平走査部１１３は、制御部１３０からの水平同期信号により、行列状に配置された光電変換素子１１１の列を順次選択する。Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を順次デジタル信号に変換し、デジタル化した映像信号を出力する。
【００６９】
このように、本発明の実施の形態１に係る固体撮像装置１００は、単一のＣＭＯＳイメージセンサで撮像した２つの映像信号（左画像及び右画像）を出力する。これにより、異なるＣＭＯＳイメージセンサで撮像した映像信号に比べて、ばらつきを低減し、エピポーラ性を向上させることができる。ここで、エピポーラ性が高いとは、２つの映像信号の垂直方向のずれ（差分）が少ないことを意味する。
【００７０】
図７は、撮像部１１０が出力する映像信号の画像の一例を示す図である。図７において、画像１７１ａ及び１７１ｂは、第１撮像領域１１５で撮像された左画像であり、画像１７２ａ及び１７２ｂは、第２撮像領域１１６で撮像された右画像である。例えば、被写体１６０を撮像した場合、撮像部１１０は、図７（ａ）に示す画像１７１ａ及び１７２ａを出力する。
【００７１】
映像信号保持部１２３は、撮像部１１０が出力した左画像の映像信号及び右画像の映像信号を保持する。距離情報算出部１２４は、映像信号保持部１２３が保持する左画像の映像信号及び右画像の映像信号から、被写体１６０の距離情報を算出する。
【００７２】
図８は、図７（ａ）に示す画像に対する距離情報算出部１２４の処理を説明するための図である。距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａから被写体１６０の視差ｄを算出する。視差ｄは、左画像１７１ａと、右画像１７２ａにおける被写体１６０の水平方向のズレ（差分）である。例えば、距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａの各行のデータを比較し、一致するか否かを判定する。次に、右画像１７２ａの各行のデータを右側にシフトさせ、シフトさせたデータが左画像１７１ａと一致するか否かを判定する。右画像１７２ａの各行のデータを右側にシフトする動作及び左画像１７１ａと一致を判定する処理を繰り返す。信号処理部１２０は、各行の左画像１７１ａと右画像１７２ａがもっとも類似したときの右画像１７２ａのシフト数を視差ｄとして算出する。具体的には、距離情報算出部１２４は、映像信号保持部１２３が保持する左画像のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返す。距離情報算出部１２４は、所定の回数の処理毎に、ずらしたｍ行の左画像と、映像信号保持部１２３が保持する右画像のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する。距離情報算出部１２４は、所定の回数の処理毎に、算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する。距離情報算出部１２４は、所定の回数の前記処理毎に、算出した和が、距離情報保持部１２５が保持している和より小さい場合に、算出した和と、ずらし処理が実行された回数とを距離情報保持部１２５に保持する。距離情報保持部１２５は、距離情報算出部１２４による所定の回数のずらし処理が終了した後に、保持する処理が実行された回数を、視差として外部に出力する。例えば、ずらし処理によるずらし量（通常１画素）をｎ画素とし、ずらし処理が実行された回数をＮ回とし、画素ピッチをＰｘとした場合には、視差ＺはＺ＝ｎ×Ｎ×Ｐｘで算出される。なお、距離情報算出部１２４のずらし処理によるずらし量は、外部からの入力により設定されてもよい。これにより、任意のずらし量を設定し、視差の精度及び処理時間を任意に設定することができる。
【００７３】
以下に、信号処理部１２０の具体的な動作を説明する。
図９は、撮像部１１０の左画像及び右画像の光電変換に用いられる光電変換素子１１１の配置の一例を示す図である。図９に示すように、２４行×２４列の光電変換素子１１１に対し、第１列から第１２列を、左画像を撮像する第１撮像領域１１５とし、第１３列から第２４列を、右画像を撮像する第２撮像領域１１６とした場合の信号処理部１２０の動作を説明する。図９に示すように、複数の光電変換素子１１１の第１列〜第１２列が、左画像の第１列〜第１２列に対応し、複数の光電変換素子１１１の第１３列〜第２４が、右画像の第１列〜第１２列に対応する。
【００７４】
まず、Ａ／Ｄ変換部１１４は、第１行及び第２行の光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。すなわち、映像信号保持部１２３は、左画像及び右画像の第１行及び第２行に対応する映像信号を保持する。
【００７５】
次に、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像の第１行及び第２行の映像信号から、視差を算出する。
【００７６】
図１０は、信号処理部１２０による視差の算出の処理の流れを示すフローチャートである。図１１及び図１２は、距離情報算出部１２４による、視差の算出処理を説明するための図である。図１１（ａ）に示すような右画像及び左画像の映像信号が読み出され、映像信号保持部１２３に保持された場合について説明する。なお、図中の枠内の数値は、映像信号の信号レベルを示し、例えば、入射光の輝度に対応した値である。
【００７７】
距離情報算出部１２４は、例えば、２行の映像信号の１２列の映像信号を４列毎の３つの領域Ａ、Ｂ及びＣに分割し、それぞれの領域に対して、視差を算出する。すなわち、距離情報算出部１２４は、２行×４列の画素毎に視差を算出する。まず、距離情報算出部１２４は、図１２（ａ）に示すように、左画像の各画素の信号レベル３０１と、右画像の各画素の信号レベル３０２の差分の絶対値３０３を算出する（Ｓ１０１）。次に、距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０２）。例えば、図１２（ａ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「６」、「１４」及び「１４」が算出される。距離情報算出部１２４は、算出した合計値３０４を距離情報保持部１２５に保持する（Ｓ１０３）。
【００７８】
図１３は、信号処理部１２０の視差の算出処理において、距離情報保持部１２５に保持されるデータの一例を示す図である。距離情報算出部１２４により、図１２（ａ）に示す合計値３０４が算出された場合、距離情報保持部１２５に、図１３（ａ）に示すクロック数３１１として「０」が保持され、各領域Ａ、Ｂ及びＣの合計値３０４の最小値３１２として「６」、「１４」及び「１４」が保持される。ここで、クロック数３１１は、左画像のシフト動作が行われた回数に対応する。
【００７９】
次に、距離情報算出部１２４は、図１１（ｂ）に示すように、左画像を左方向（又は右画像を右方向）に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｂ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「２０」及び「２０」が算出される。
【００８０】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ａ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「８」、「２０」及び「２０」は、距離情報保持部１２５に保持される各領域の合計値「６」、「１４」及び「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持されるクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ａ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される（図１３（ｂ））。
【００８１】
次に、距離情報算出部１２４は、所定の回数のシフト動作が行われたか否かを判定する。なお、ここでは、所定の回数が「４」の場合について説明する。シフト回数は「１」であり所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｃ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｃ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「０」、「１４」及び「２０」が算出される。
【００８２】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ｂ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「０」は、距離情報保持部１２５に保持される領域Ａの合計値「６」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１を、現在のクロック数（シフト回数）「２」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。また、算出した領域Ｂの合計値「１４」は、距離情報保持部１２５に保持される領域Ｂの合計値「１４」と等しく、算出した領域Ｃの合計値「２０」は、距離情報保持部１２５に保持される領域Ｃの合計値「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ｃ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。なお、距離情報算出部１２４が算出した合計値３０４と、距離情報保持部１２５に保持される合計値の最小値３１２が等しい場合に、距離情報保持部１２５に保持されるクロック数３１１を更新してもよい。
【００８３】
シフト回数は「２」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｄ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｄ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「０」及び「０」が算出される。
【００８４】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ｃ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「８」は、距離情報保持部１２５に保持される領域Ａの合計値「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。また、算出した領域Ｂ及びＣの合計値「０」及び「０」は、距離情報保持部１２５に保持される領域Ｂ及びＣの合計値「１４」及び「１４」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１を、現在のクロック数（シフト回数）を「３」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。よって、距離情報保持部１２５には、図１３（ｄ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００８５】
シフト数は「３」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｅ）に示すように、左画像を左方向にシフト１画素させる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｅ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「１３」、「２０」及び「１０」が算出される。
【００８６】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値（図１３（ｄ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「１３」、「２０」及び「１０」は、距離情報保持部１２５に保持される各領域の合計値「０」、「０」及び「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域のクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ｅ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００８７】
シフト数は「４」であり、所定の回数（４回）のシフト動作が行われたので（Ｓ１０９でＹｅｓ）、距離情報保持部１２５は、保持するクロック数３１１を、視差として出力する。
【００８８】
次に、信号処理部１２０は、右画像及び左画像の第３行及び第４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。さらに、信号処理部１２０は、右画像及び左画像の第５行〜第２４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。
【００８９】
以上の処理により、信号処理部１２０は、右画像及び左画像から２行×４列の画素毎に視差を算出し出力する。
【００９０】
以上より、本発明の実施の形態１に係る固体撮像装置１００は、撮像部１１０と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する信号処理部１２０とが同一の半導体基板に形成される。これにより、撮像部１１０と信号処理部１２０との間の配線を短くすることができる。よって、ノイズに対する耐性を向上させることができる。また、撮像部１１０が出力する映像信号（右画像及び左画像）の伝送速度を向上させることができる。さらに、右画像及び左画像は、単一の撮像部１１０により撮像されるので、右画像と左画像とのばらつきを低減することができる。これにより、信号処理部１２０は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。また、映像信号（右画像及び左画像）と、被写体までの距離に関する情報（視差）とを外部に出力することができる。
【００９１】
なお、信号処理部１２０は、映像信号１２１及び距離情報１２２をパラレルに出力してもよいし、共通の端子からシリアルに出力してもよい。さらに、信号処理部１２０は、映像信号１２１及び距離情報（視差）１２２とを個別に出力しているが、左画像又は右画像に視差の情報を付与して出力してもよい。さらに、左画像及び右画像を合成して出力してもよい。さらに、信号処理部１２０は、算出した視差とから固体撮像装置１００から被写体１６０への距離を算出し、距離情報１２２として出力してもよい。
【００９２】
また、上記説明では、２４行×２４列の光電変換素子１１１が配置された場合について説明したが、光電変換素子１１１の数（画素数）は、これに限定されるものではない。
【００９３】
また、上記説明では、２行×４列の画素毎に、視差を算出する例について説明したが、視差を算出する画素の範囲は、これに限定されるものではない。
【００９４】
また、上記説明では、ステップＳ１０１及びＳ１０５において、左画像と右画像との各画素の信号レベルの差分の絶対値を算出し、ステップＳ１０２及びＳ１０６において、各画素の差分の合計値を算出しているが、以下の処理に置き換えてもよい。各領域Ａ、Ｂ及びＣ毎に、左画像の複数の画素の信号レベルを加算し、上述した信号レベル３０１に置き換える。右画像も同様に、各領域Ａ、Ｂ及びＣ毎に、複数の画素の信号レベルを加算し、上述した信号レベル３０２に置き換える。各領域Ａ、Ｂ及びＣ毎に、差分の絶対値を算出し、上述した合計値３０４に置き換えて、その後、同様の処理を行ってもよい。これにより、細密な高画素の撮像素子を用いた場合に、一定の距離情報の精度を保ちながら計算処理量を削減することができる。
【００９５】
また、上記説明では、ステップＳ１０４において１画素ずつシフトさせる処理を行ったが複数画素ずつシフトさせる処理を行ってもよい。
【００９６】
ここで、図７（ｂ）に示すように、左画像１７１ｂと、右画像１７２ｂとが垂直方向にズレが生じている（エピポーラ性が悪い）場合、一致を比較する各行において、ズレにより画像が一致しないため、距離情報算出部１２４の視差ｄの算出処理における精度が低下する。また、左画像と右画像とが水平方向にずれている場合は、ズレに相当する画素分、視差ｄの精度が低下する。本発明の実施の形態１に係る固体撮像装置１００では、上述したように、単一のＣＭＯＳイメージセンサで右画像と左画像とを撮像することで、右画像と左画像との水平方向及び垂直方向のズレを低減することができる。これにより、視差ｄの算出精度を向上させることができる。また、撮像面において高いエピポーラ性が得られるとともに、右画像及び左画像の光電変換特性も同じであるため視差ｄを精度高く容易に算出することができる。
【００９７】
また、上記説明において、第１撮像領域１１５及び第２撮像領域１１６は、図２に示すよう複数の光電変換素子１１１を、右左（水平方向）に分割するように配置されているが、上下（垂直方向）に分割するように配置してもよい。
【００９８】
また、上記説明において、フィルタ１５２はレンズ１５０の上部に形成され、フィルタ１５３は、レンズ１５１の上部に形成されるとしたが、フィルタ１５２はレンズ１５０の下部に形成され、フィルタ１５３は、レンズ１５１の下部に形成されてもよい。
【００９９】
また、上記説明において、撮像部１１０及び信号処理部１２０の構成として、図２に示す構成を説明したが、図１４に示す構成としてもよい。図１４は、本発明の実施の形態１に係る固体撮像装置１００の撮像部１１０及び信号処理部１２０の変形例の構成を示す図である。例えば、図１４に示すように、撮像部１１０は、行列状に配置された光電変換素子１１１の各列の光電変換素子１１１が光電変換した信号電荷をそれぞれデジタル信号に変換するＡ／Ｄ変換部１１７を備えてもよい。すなわち、Ａ／Ｄ変換部１１７は、各行に配置された複数の光電変換素子１１１が光電変換した信号電荷を同時にＡ／Ｄ変換する機能を有する。各列の信号電荷をデジタル信号に変換するＡ／Ｄ変換部１１７を備えることにより、高速にＡ／Ｄ変換を行うことができる。これにより、撮像部１１０からの読出し処理を高速に行うことができる。また、各行の信号電荷を同時に読み出すことができるので、信号処理部１２０における行単位の視差算出処理を効率よく行うことができる。
【０１００】
また、上記説明において、フィルタ１５４は、第１の周波数帯域の光のみを透過するとしたが、第１の周波数帯域に含まれる周波数帯域のみを透過してもよい。すなわち、フィルタ１５２は、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）の光のみを透過し、第１のフィルタ１５４は、第１の周波数帯域に含まれる周波数帯域（例えば、波長７７０ｎｍ〜８３０ｎｍ）の光のみを透過してもよい。さらに、フィルタ１５４は、透過率が低い周波数帯域として、第１の周波数帯域に含まれない周波数帯域を透過してもよい。例えば、フィルタ１５４は、透過率３０％以下であれば、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）に含まれない帯域を含む広帯域な周波数特性（例えば、波長７００ｎｍ〜９００ｎｍ）を有してもよい。
【０１０１】
同様に、フィルタ１５５は、第２の周波数帯域に含まれる周波数帯域のみを透過してもよい。さらに、フィルタ１５５は、透過率が低い周波数帯域として、第２の周波数帯域に含まれない周波数帯域を透過してもよい。
【０１０２】
また、上記説明では、第１の周波数帯域と、第２の周波数帯域とは、互いに重複しない異なる周波数帯域であるとしたが、第１の周波数帯域の一部と、第２の周波数帯域の一部とが重複してもよい。例えば、フィルタ１５２が透過する周波数帯域の透過率が５０％以下の領域が、フィルタ１５３が透過する周波数帯域の一部に含まれてもよい。
【０１０３】
また、上記説明において、信号処理部１２０は、撮像部１１０で撮像された右画像及び左画像を出力するとしたが、算出した視差に基づき右画像及び左画像の一部を置き換えて出力してもよい。例えば、信号処理部１２０は、距離情報保持部１２５が保持する視差と、所定の範囲とを比較し、視差が所定の範囲に含まれない場合には、該視差に対応する右画像及び左画像を所定の画像（所定の画素信号又は固定値（黒又は白等））に置き換えて出力してもよい。これにより、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【０１０４】
（実施の形態２）
上述した実施の形態１に係る固体撮像装置１００は、異なる波長の光を透過するフィルタ１５２〜１５５を用いることにより、第１撮像領域１１５及び第２撮像領域１１６に入射する光を制御している。しかしながら、２つの第１撮像領域１１５及び第２撮像領域１１６に入射する光は、それぞれ波長が異なるため、出力される映像信号の画像に差が生じる。
【０１０５】
本発明の実施の形態２に係る固体撮像装置は、２つの撮像領域に加え、さらに、補正を行うための撮像領域を備える。これにより、撮像した映像信号の補正を行い、２つの撮像領域が出力する画像の差を低減することができる。
【０１０６】
まず、本発明の実施の形態２に係る固体撮像装置の構成を説明する。
図１５は、本発明の実施の形態２に係る固体撮像装置の構成を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１０７】
図１５に示す固体撮像装置２００は、図１に示す実施の形態１に係る固体撮像装置１００に対して、半導体装置２０１の構成と、レンズ２４０とを備える点とが異なる。半導体装置２０１は、半導体装置１０１に対して、さらに、平均値算出部２２０と、画像補正部２３０とを備える。また、半導体装置２０１は、半導体装置１０１に対して、撮像部２１０の構成が異なる。
【０１０８】
図１６は、撮像部２１０の構成を示す図である。撮像部２１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１０９】
複数の光電変換素子１１１は、第１撮像領域１１５、第２撮像領域１１６又は第３撮像領域２１１に含まれる。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１と、第３撮像領域２１１に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。第３撮像領域２１１に含まれる光電変換素子１１１は、レンズ２４０で集光された光を光電変換する。なお、図１６において６行×６列の光電変換素子１１１が配置されているが、光電変換素子１１１の数は、これに限定されるものではない。
【０１１０】
レンズ２４０は、被写体１６０からの反射光を第３撮像領域２１１に集光する。
図１７は、第１撮像領域１１５、第２撮像領域１１６及び第３撮像領域２１１の断面構造を模式的に示す図である。なお、第１撮像領域１１５、第２撮像領域１１６、レンズ１５０、１５１及びフィルタ１５２〜１５５の構成は図３に示す実施の形態１の構成と同様であり、詳細な説明は省略する。図１７に示すように、固体撮像装置２００は、さらに、フィルタ２４１及び２４２を備える。また、第３撮像領域２１１は、第１撮像領域１１５と第２撮像領域１１６との間に配置される。
【０１１１】
フィルタ２４１及び２４２は、多層膜干渉フィルタであり、例えば、上述した実施の形態１と同様に図５に示す構造である。被写体１６０からの反射光は、フィルタ２４１、レンズ２４０及びフィルタ２４２からなる光入射経路により、第３撮像領域２１１に入射される。フィルタ２４１は、レンズ２４０の上部に形成される。フィルタ２４１は、フィルタ１５２及び１５４が透過する第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）と、フィルタ１５３及び１５５が透過する第２の周波数帯域（例えば、波長９５０ｎｍ〜１０５０ｎｍ）とを含む第３の周波数帯域（例えば、７５０ｎｍ〜１０５０ｎｍ）の光を透過する。すなわち、フィルタ２４１及びレンズ２４０により、第３の周波数帯域の光は第３撮像領域２１１に集光される。フィルタ２４２は、第３撮像領域２１１上に形成される。
【０１１２】
図１８は、フィルタ２４２を上面から見た構成を模式的に示す図である。図１８に示すようにフィルタ２４２は、第１の周波数帯域の光を透過するフィルタ２４３と、第２の周波数帯域の光を透過するフィルタ２４４とを含む。フィルタ２４３及び２４４は、例えば、格子状に配置される。なお、フィルタ２４３及び２４４の配置は、格子状に限定されるものではなく、例えば、行方向又は列方向にストライプ状であってもよいし、複数の光電変換素子１１１が配置される領域を２分するように配置してもよい（例えば、図１８における右半分にフィルタ２４３を配置し、左半分にフィルタ２４４を配置してもよい。）。また、各フィルタ２４３及び２４４は、第３撮像領域２１１の複数の光電変換素子１１１にそれぞれ対応し、複数の光電変換素子１１１上にそれぞれ形成されている。
【０１１３】
平均値算出部２２０は、第３撮像領域２１１が出力する各画素の信号の平均値を算出する。具体的には、平均値算出部２２０は、フィルタ２４３に対応する光電変換素子１１１が光電変換した信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１が光電変換した信号の平均値ｙ２とを算出する。
【０１１４】
画像補正部２３０は、平均値算出部２２０が算出した平均値ｙ１及びｙ２に基づき、第１撮像領域１１５及び第２撮像領域１１６が出力する映像信号の各画素の信号を補正する。具体的には、画像補正部２３０は、第１撮像領域１１５が出力する映像信号の各画素の信号Ｙ１に対して、下記（式１）で示される演算を行い補正後の各画素の信号Ｙ１１を算出する。
【０１１５】
Ｙ１１＝Ｙ１×（ｙ２／ｙ１） ・・・（式１）
【０１１６】
または、画像補正部２３０は、第２撮像領域１１６が出力する映像信号の各画素の信号Ｙ２に対して、下記（式２）で示される演算を行い補正後の各画素の信号Ｙ２２を算出してもよい。
【０１１７】
Ｙ２２＝Ｙ２×（ｙ１／ｙ２） ・・・（式２）
【０１１８】
次に、固体撮像装置２００の動作を説明する。
【０１１９】
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、フィルタ１５４を介して第１撮像領域１１５に照射される。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、フィルタ１５５を介して第２撮像領域１１６に照射される。また、被写体１６０で反射した反射光は、フィルタ２４１により第１の周波数帯域及び第２の周波数帯域を含む第３の周波数帯域の光のみが透過し、レンズ２４０で集光され、フィルタ２４２を介して第３撮像領域２１１に照射される。
【０１２０】
第１撮像領域１１５は、第１の周波数帯域の光を光電変換し、映像信号Ｙ１を出力する。第２撮像領域１１６は、第２の周波数帯域の光を光電変換し、映像信号Ｙ２を出力する。第３撮像領域２１１のフィルタ２４３の下部に形成された光電変換素子１１１は、第１の周波数帯域の光を光電変換し、信号を出力する。第３撮像領域２１１のフィルタ２４４の下部に形成された光電変換素子１１１は、第２の周波数帯域の光を光電変換し、信号を出力する。
【０１２１】
平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１の信号の平均値ｙ２とを算出する。
【０１２２】
画像補正部２３０は、上記（式１）により、平均値算出部２２０が算出した平均値ｙ１及びｙ２とから、第１撮像領域１１５が出力する映像信号Ｙ１に補正を行い、補正後の映像信号Ｙ１１を出力する。なお、画像補正部２３０は、上記（式１）による補正を行わず、上記（式２）により、平均値算出部２２０が算出した平均値ｙ１及びｙ２とから、第２撮像領域１１６が出力する映像信号Ｙ２に補正を行い、補正後の映像信号Ｙ２２を出力してもよい。
【０１２３】
信号処理部１２０は、補正後の映像信号Ｙ１１を左画像とし、第２撮像領域１１６が出力する映像信号Ｙ２を右画像として、左画像と右画像との視差ｄを算出する。なお、信号処理部１２０は、第１撮像領域１１５が出力する映像信号Ｙ１を左画像とし、補正後の映像信号Ｙ２２を右画像として、左画像と右画像との視差ｄを算出もよい。また、信号処理部１２０における視差ｄの算出は、実施の形態１と同様であり、説明は省略する。信号処理部１２０は、左画像と、右画像と、算出した視差ｄの情報とを外部に出力する。
【０１２４】
以上より、本発明の実施の形態２に係る固体撮像装置２００は、第３撮像領域２１１で光電変換した、第１の周波数帯域の光に対応する信号の平均値ｙ１と、第２の周波数帯域の光に対応する信号の平均値ｙ２とを用いて、第１撮像領域１１５及び第２撮像領域１１６で撮像された映像信号に補正を行う。これにより、第１撮像領域１１５及び第２撮像領域１１６に入射される光の周波数帯域の差により生じる、第１撮像領域１１５及び第２撮像領域１１６が出力する映像信号の差を低減することができる。
【０１２５】
なお、上記説明において、第３撮像領域２１１は、第１撮像領域１１５と第２撮像領域１１６との間に形成されるとしたが、第３撮像領域２１１を配置する位置はこれに限定されるものではない。例えば、図１７における第１撮像領域１１５の左側、又は、図１７における第２撮像領域１１６の右側に形成してもよい。
【０１２６】
また、上記説明において、第１撮像領域１１５、第２撮像領域１１６及び第３撮像領域２１１は、単一のＣＭＯＳイメージセンサとして形成される例を説明したが、第３撮像領域２１１は、第１撮像領域１１５及び第２撮像領域１１６とを含むＣＭＯＳイメージセンサとは、別のＣＭＯＳイメージセンサとして形成されてもよい。
【０１２７】
また、上記説明において、固体撮像装置２００は、レンズ２４０の上部に第１の周波数帯域及び第２の周波数帯域を含む第３の周波数帯域の光を透過するフィルタ２４１を備えるとしたが、フィルタ２４１はレンズ２４０の下部に形成されてもよい。さらに、フィルタ２４１を備えなくともよい。
【０１２８】
また、上記説明において、画像補正部２３０は、上記（式１）又は（式２）に示す演算を行うとしたが、上記（式１）又は（式２）に示す演算に加え、所定の定数倍及び所定の値の加算のうち少なくとも一方を行ってもよい。
【０１２９】
また、上記説明において、平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１の信号の平均値ｙ２とを算出するとしたが、平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号のうち、最大及び最小の信号を除いた信号の平均値ｙ１１と、フィルタ２４４に対応する光電変換素子１１１の信号のうち、最大及び最小の信号を除いた信号の平均値ｙ２２とを算出してもよい。さらに、画像補正部２３０は、上記（式１）又は（式２）の平均値ｙ１及びｙ２の代わりに最大及び最小の信号を除いた信号の平均値ｙ１１及びｙ２２を用いて演算を行ってもよい。これにより、白キズ，黒キズなどの画素欠陥による精度の低下を低減することができる。
【０１３０】
また、上記説明において、第３撮像領域２１１の構成は、第１撮像領域１１５及び第２撮像領域１１６と同様であるとしたが、第３撮像領域２１１の構成は第１撮像領域１１５及び第２撮像領域１１６と異なってもよい。例えば、第３撮像領域２１１が備える光電変換素子１１１の数は、第１撮像領域１１５及び第２撮像領域１１６が備える光電変換素子１１１の数と異なってもよい。また、第３撮像領域２１１が備える光電変換素子１１１は、２次元状（行列状）に配置されず、１次元状に配置されてもよい。
【０１３１】
また、上記実施の形態１及び２における説明では、本発明を車両に搭載された近赤外光を用いた暗視機能を有するカメラに適用した実施例について説明したが、車両に搭載された近赤外光を用いた暗視機能を有するカメラ以外にも、撮像被写体までの距離情報を出力するカメラとして適用することができる。例えば、本発明に係る固体撮像装置は、監視装置に用いられるカメラ及びＴＶ電話のカメラ等に適用することができる。
【０１３２】
また、上記実施の形態１及び２における説明では、固体撮像装置は、近赤外光を照射する光源１４０を備えるとしたが、光源１４０は、近赤外光以外の光を照射してもよい。例えば、光源１４０は、可視光を照射してもよい。この場合、上述した第１の周波数帯域及び第２の周波数帯域は、可視光内の、互いに重複しない異なる周波数帯域であればよい。さらに、暗視機能を必要としない場合には、固体撮像装置は、光源１４０を備えなくともよい。
【産業上の利用可能性】
【０１３３】
本発明は、固体撮像装置に適用でき、特に、車載用のカメラ、監視カメラ及びＴＶ電話のカメラ等に適用できる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る固体撮像装置の撮像部及び信号処理部の構成を示す図である。
【図３】本発明の実施の形態１に係る固体撮像装置の撮像部の断面構造を模式的に示す図である。
【図４】本発明の実施の形態１に係る固体撮像装置のフィルタの断面構造を模して気的に示す図である。
【図５】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図６】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図７】本発明の実施の形態１に係る固体撮像装置の撮像部が出力する映像信号の一例を示す図である。
【図８】本発明の実施の形態１に係る固体撮像装置の信号処理部の処理を説明するための図である。
【図９】本発明の実施の形態１に係る固体撮像装置の左画像及び右画像の光電変換に用いられる光電変換素子の配置の一例を示す図である。
【図１０】本発明の実施の形態１に係る固体撮像装置の信号処理部による距離情報の算出の処理の流れを示すフローチャートである。
【図１１】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１２】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１３】本発明の実施の形態１に係る固体撮像装置の距離情報算出部の距離情報の算出処理において距離情報保持部に保持されるデータの一例を示す図である。
【図１４】本発明の実施の形態１に係る固体撮像装置の撮像部及び信号処理部の変形例の構成を示す図である。
【図１５】本発明の実施の形態２に係る固体撮像装置の構成を示す図である。
【図１６】本発明の実施の形態２に係る固体撮像装置の撮像部の構成を示す図である。
【図１７】本発明の実施の形態２に係る固体撮像装置の撮像部の断面構造を模式的に示す図である。
【図１８】本発明の実施の形態２に係る固体撮像装置のフィルタ２４２の構成を示す図である。
【図１９】従来の固体撮像装置の構成を示す図である。
【符号の説明】
【０１３５】
１００、２００、１０００ 固体撮像装置
１０１、２０１ 半導体装置
１１０、２１０ 撮像部
１１１ 光電変換素子
１１２ 垂直走査部
１１３ 水平走査部
１１４、１１７ Ａ／Ｄ変換部
１１５ 第１撮像領域
１１６ 第２撮像領域
１２０ 信号処理部
１２１ 映像信号
１２２ 距離情報
１２３ 映像信号保持部
１２４ 距離情報算出部
１２５ 距離情報保持部
１３０ 制御部
１４０ 光源
１５０、１５１、２４０ レンズ
１５２、１５３、１５４、１５５、２４１、２４２、２４３、２４４ フィルタ
１６０ 被写体
１６１ 上部反射層
１６２ スペーサ層
１６３ 下部反射層
１６４ ＴｉＯ2層
１６５ ＳｉＯ2層
１６６、１６７ 反射層
１６８ 多層膜干渉フィルタ
１７１ａ、１７１ｂ 左画像
１７２ａ、１７２ｂ 右画像
２１１ 第３撮像領域
２２０ 平均値算出部
２３０ 画像補正部
１００１、１００２ カメラ
【技術分野】
【０００１】
本発明は、固体撮像装置、カメラ、車両及び監視装置に関し、特に、独立した複数の光入射経路から入射した光を撮像し、映像信号を出力する固体撮像装置に関する。
【背景技術】
【０００２】
立体映像の撮像、又は、被写体までの距離に関する情報（以下、「距離情報」と記す。）を伴った映像情報を得るために、２つの撮像領域を備えるカメラが用いられている。距離情報を伴う映像情報を出力するカメラは、車載用カメラとして用いることで、前方の障害の大きさ及び距離を検知し、ドライバに警告を発することができる。さらに、障害物の検知にともない、自動的にエンジン、ブレーキ及びステアリング等を制御することで、障害物への衝突を回避することができる。さらに、車内に設けたカメラにより、乗員の大きさ（大人又は子供等）、及び乗員の頭部の位置等を検知し、エアバックのＯｐｅｎスピード及び圧力等を制御することができる。
【０００３】
また、距離情報を伴う映像情報を出力するカメラは、監視カメラ及びＴＶ電話等のカメラとして用いた場合には、所定の距離内の被写体のみを撮像及び表示することで、映像情報のデータ量の削減及び視認性の向上を実現することができる。
【０００４】
従来の立体映像の撮像を行うカメラとしては、２台のカメラを備えるステレオカメラが知られている。
【０００５】
図１９は、従来の立体映像を撮像する固体撮像装置の構成を示す図である。
図１９に示す固体撮像装置１０００は、ステレオカメラであり、カメラ１００１及び１００２を備える。カメラ１００１及び１００２は所定の距離を隔てて設置される。カメラ１００１及び１００２が撮像した映像信号より、立体映像が生成される。
【０００６】
図１９に示す従来の固体撮像装置１０００は、２台のカメラ１００１及び１００２を用いるため、カメラ１００１及び１００２における製造ばらつき等の影響により、十分なエピポーラ性を保てない（２台のカメラが撮像した映像信号に位置的なズレが生じる）という問題と、２台のカメラ１００１及び１００２の撮像特性が同一ではないという問題と、２台のカメラから出力される信号の出力タイミングに時間的遅延が生じるという問題とにより、距離情報を算出するために多大な調整工数及び信号処理工程を必要とする。
【０００７】
上記問題に対して、１チップのＬＳＩ（Large Scale Integration）として、２つの撮像領域を備えるステレオカメラが知られている（例えば、特許文献１参照。）。
【０００８】
特許文献１記載のステレオカメラは、被写体を撮像する２つの撮像領域を１チップ化することにより、２つの撮像領域の製造ばらつきの影響を低減することができる。
【特許文献１】特開平９−７４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオカメラ等の立体映像の撮像、又は、距離情報を伴った映像情報を出力するカメラにおいては、エピポーラ性、２つのカメラの撮像特性の同一性、及び信号出力タイミングの同期性等を向上させることで、距離情報を高精度かつ効率よく算出できることが望まれる。
【００１０】
また、従来のステレオカメラは、撮像領域と、撮像領域で撮像された映像信号から距離情報を算出する信号処理部とは、異なる半導体基板に形成されており、撮像領域と信号処理部との配線が長くなる。これにより、映像信号の伝送速度が十分でないという問題がある。また、配線が長いため、ノイズの影響を受けやすいという問題がある。特に、車載用のカメラとして用いる場合には、ノイズに対し高い耐性が要求される。
【００１１】
そこで、本発明は、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る固体撮像装置は、第１撮像領域と第２撮像領域とを含む領域に行列状に配置された複数の光電変換素子を備える撮像部と、前記第１撮像領域へ光を導いて入射させる第１光入射部と、前記第１光入射部と離間して設けられ、前記第２撮像領域へ光を導いて入射させる第２光入射部と、前記第１撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記第２撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段とを備え、前記撮像部と、前記出力手段と、前記算出手段とは、同一の半導体基板に形成される。
【００１３】
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、撮像部と算出手段との間の配線を短くすることができる。よって、ノイズに対する耐性を向上させることができる。また、第１映像信号及び第２映像信号の伝送速度を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。また、第１映像信号及び第２映像信号と、被写体までの距離に関する情報とを外部に出力することができる。
【００１４】
また、前記算出手段は、前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、前記視差算出手段が算出した前記視差を保持する第２保持手段とを備えてもよい。
【００１５】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、視差とを外部に出力することができる。
【００１６】
また、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力してもよい。
【００１７】
この構成によれば、映像信号のｍ行×ｎ列毎に対する視差を算出することができる。
また、前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出してもよい。
【００１８】
この構成によれば、外部から視差算出を行うブロック単位（ｍ１行×ｎ１列）を任意に設定することができる。
【００１９】
また、前記第１光入射部は、第１の周波数帯域の光を前記第１撮像領域に集光する第１集光手段と、前記第１撮像領域上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタとを備え、前記第２光入射部は、前記第１の周波数帯域と異なる第２の周波数帯域の光を前記第２撮像領域に集光する第２集光手段と、前記第２撮像領域上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備えてもよい。
【００２０】
この構成によれば、第１集光手段により集光された第１の周波数帯域の光は、第２のフィルタにより遮断されるので、第２撮像領域には照射されない。よって、第２撮像領域に対する第１の周波数帯域の光の干渉を低減することができる。また、第２集光手段により集光された第２の周波数帯域の光は、第１のフィルタにより遮断されるので、第１撮像領域には照射されない。よって、第１撮像領域に対する第２の周波数帯域の光の干渉を低減することができる。また、第１のフィルタ及び第２のフィルタを備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。
【００２１】
また、前記固体撮像装置は、さらに、行列状に配置された複数の光電変換素子を備える第３撮像領域と、前記第３撮像領域へ光を導いて入射させる第３光入射部とを備え、前記第３光入射部は、前記第１の周波数帯域及び前記第２の周波数帯域を含む第５の周波数帯域の光を前記第３撮像領域に集光する第３集光手段と、前記第３撮像領域上に形成される第３のフィルタを備え、前記第３のフィルタは、前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第１の光電変換素子上に形成され、前記第２の周波数帯域の光を遮断し、前記第３の周波数帯域の光を透過する第４のフィルタと、前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第２の光電変換素子上に形成され、前記第１の周波数帯域の光を遮断し、前記第４の周波数帯域の光を透過する第５のフィルタとを含んでもよい。
【００２２】
この構成によれば、第３撮像領域は、第１の周波数帯域の光を光電変換した信号と、第２の周波数帯域の光を光電変換した信号とを出力する。ここで、第１のフィルタ及び第２のフィルタを設け、第１撮像領域と第２撮像領域とに異なる周波数帯域の光を入射した場合、第１撮像領域と第２撮像領域とが出力する映像信号の信号レベルに差が生じる。第３撮像領域が出力する第１の周波数帯域の光を光電変換した信号と、第２の周波数帯域の光を光電変換した信号との比を用いて、第１撮像領域及び第２撮像領域が出力する映像信号を補正することで、周波数帯域の差による信号レベルの差を低減することができる。
【００２３】
また、前記固体撮像装置は、さらに、前記複数の第１の光電変換素子が光電変換した信号の平均値である第１平均値と、前記複数の第２の光電変換素子が光電変換した信号の平均値である第２平均値とを算出する平均値算出手段と、前記平均値算出手段が算出した前記第１平均値及び第２平均値の比に基づき、前記第１映像信号及び前記第２映像信号を補正する補正手段とを備えてもよい。
【００２４】
この構成によれば、補正手段は、平均値算出手段が算出した第１平均値と第２平均値との比を用いて、第１映像信号及び第２映像信号を補正する。これにより、第１撮像領域及び第２撮像領域に入射する光の周波数帯域の差による、第１映像信号と第２映像信号との信号レベルの差を低減することができる。
【００２５】
また、前記第１のフィルタ及び前記第２のフィルタは、第１誘電体層及び第２誘電体層と、前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なってもよい。
【００２６】
この構成によれば、第１のフィルタ及び第２のフィルタに、耐光性及び耐熱性に優れた多層膜干渉フィルタが用いられる。これにより、無機材料のみを用いてフィルタを構成することができる。フィルタを無機材料のみで構成することで、高温及び高照射下で使用しても退色現象を生じない。よって、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００２７】
また、前記固体撮像装置は、さらに、前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備えてもよい。
【００２８】
この構成によれば、光源が被写体に照射した光の反射光を第１撮像領域及び第２撮像領域で受光することができる。これにより、夜間及び暗所での撮像を行うことができる。
【００２９】
また、前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれてもよい。
この構成によれば、近赤外領域の光を用いて、被写体の撮像を行うことができる。これにより、車載カメラ等として本発明の固体撮像装置を用いた場合に、視認性の向上と、対向車両及び歩行者に対する眩惑の防止とを実現することができる。
【００３０】
また、前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備えてもよい。
【００３１】
この構成によれば、各行の光電変換素子に蓄積された信号電荷を同時にデジタル信号に変換し（Ａ／Ｄ変換し）、出力することができる。よって、第１映像信号及び第２映像信号の読出しを高速に行うことができる。
【００３２】
また、前記算出手段は、さらに、前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備えてもよい。
【００３３】
この構成によれば、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【００３４】
また、本発明に係るカメラは、前記固体撮像装置を備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出するカメラを実現することができる。
【００３５】
また、本発明に係る車両は、前記カメラを備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出する車両を実現することができる。
【００３６】
また、本発明に係る監視装置は、前記カメラを備える。
この構成によれば、撮像部と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する算出手段とが同一の半導体基板に形成される。これにより、ノイズに対する耐性を向上させることができる。さらに、第１映像信号及び第２映像信号は、単一の撮像部により撮像されるので、第１映像信号と第２映像信号とのばらつきを低減することができる。これにより、算出手段は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。よって、本発明は、ノイズに対する耐性が高く、被写体までの距離に関する情報を高精度かつ効率よく算出する監視装置を実現することができる。
【発明の効果】
【００３７】
本発明は、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３９】
（実施の形態１）
本発明の実施の形態１に係る固体撮像装置は、同一の半導体基板に撮像部と、撮像部で撮像した２つの映像信号から、被写体までの距離の情報を算出する信号処理部とが形成される。これにより、距離情報を高精度かつ効率よく算出することができ、ノイズに対する耐性の高い固体撮像装置を実現することができる。
【００４０】
まず、本実施の形態に係る固体撮像装置の構成を説明する。
図１は、本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【００４１】
図１に示す固体撮像装置１００は、撮像の被写体１６０の映像情報及び距離情報を出力する。固体撮像装置１００は、例えば、車両に搭載された近赤外領域の光（以下、「近赤外光」と記す。）を用いた暗視機能を有するカメラである。固体撮像装置１００は、半導体装置１０１と、光源１４０と、レンズ１５０及び１５１とを備える。半導体装置１０１は、１チップの半導体集積回路である。半導体装置１０１は、撮像部１１０と、信号処理部１２０と、制御部１３０とを備える。すなわち、撮像部１１０と、信号処理部１２０と、制御部１３０とは、同一の半導体基板に形成される。
【００４２】
光源１４０は、近赤外光（波長７００ｎｍ〜１１００ｎｍ）を被写体１６０に照射する。光源１４０は、例えば、ＬＥＤ（発光ダイオード）又は半導体レーザで構成される。
【００４３】
レンズ１５０及び１５１は、被写体１６０からの反射光を撮像部１１０に集光する。レンズ１５０は、被写体１６０からの反射光を第１撮像領域１１５に集光する。レンズ１５１は、被写体１６０からの反射光を第２撮像領域１１６に集光する。レンズ１５１は、レンズ１５０と水平方向に離間して設けられる。
【００４４】
撮像部１１０は、ＣＭＯＳイメージセンサであり、入射光に応じた映像信号を出力する。撮像部１１０被写体１６０からの反射光を電気信号に変換し、変換した電気信号を２つの映像信号（左画像及び右画像）として出力する。具体的には、撮像部１１０は、レンズ１５０で集光された光を電気信号に変換し、変換した電気信号を左画像として出力する。撮像部１１０は、レンズ１５１で集光された光を電気信号に変換し、変換した電気信号を右画像として出力する。
【００４５】
図２は、撮像部１１０及び信号処理部１２０の構成を示す図である。撮像部１１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。
【００４６】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５と第２撮像領域１１６とを含む領域に配置される。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。なお、行列状に配置される複数の光電変換素子１１１の行方向は水平方向に対応し、列方向は垂直方向に対応する。また、図２において６行×６列の光電変換素子１１１が配置されているが、光電変換素子１１１の数は、これに限定されるものではない。
【００４７】
垂直走査部１１２は、複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【００４８】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【００４９】
Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。すなわち、Ａ／Ｄ変換部１１４は、光電変換素子１１１に蓄積された信号電荷に基づくアナログ信号を、デジタル信号に変換し映像信号として出力する。また、Ａ／Ｄ変換部１１４が出力する映像信号は、第１撮像領域１１５に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した左画像に対応する映像信号と、第２撮像領域１１６に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した右画像に対応する映像信号とが含まれる。
【００５０】
制御部１３０は、撮像部１１０及び信号処理部１２０を制御する。具体的には、制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。電荷蓄積制御信号は、複数の光電変換素子１１１の電荷蓄積時間（露光時間）を制御するための信号である。
【００５１】
信号処理部１２０は、被写体までの距離情報を、撮像部１１０が出力する左画像と右画像とから算出し、映像信号１２１及び距離情報１２２を外部に出力する。信号処理部１２０は、映像信号保持部１２３と、距離情報算出部１２４と、距離情報保持部１２５とを備える。
【００５２】
映像信号保持部１２３は、撮像部１１０が出力する映像信号である左画像及び右画像を保持する。また、映像信号保持部１２３は、保持する映像信号１２１を外部に出力する。
【００５３】
距離情報算出部１２４は、映像信号保持部１２３が保持する左画像及び右画像から、被写体までの距離情報である視差を算出する。
【００５４】
距離情報保持部１２５は、距離情報算出部１２４が算出した距離情報（視差）を保持する。また、距離情報保持部１２５は、保持する距離情報１２２を外部に出力する。
【００５５】
図３は、撮像部１１０の第１撮像領域１１５及び第２撮像領域１１６の断面構造を模式的に示す図である。図３に示すように、固体撮像装置１００は、さらに、フィルタ１５２、１５３、１５４及び１５５を備える。フィルタ１５２、１５３、１５４及び１５５は、例えば、多層膜干渉フィルタである。
【００５６】
被写体１６０からの反射光は、フィルタ１５２、レンズ１５０及びフィルタ１５４からなる光入射経路により、第１撮像領域１１５に入射される。また、被写体１６０からの反射光は、フィルタ１５３、レンズ１５１及びフィルタ１５５からなる光入射経路により、第２撮像領域１１６に入射される。フィルタ１５２は、レンズ１５０の上部に形成され、第１の周波数帯域の光のみを透過する。すなわち、フィルタ１５２及びレンズ１５０により、第１の周波数帯域の光は第１撮像領域１１５に集光される。フィルタ１５３は、レンズ１５１の上部に形成され、第２の周波数帯域の光のみを透過する。すなわち、フィルタ１５３及びレンズ１５１により、第２の周波数帯域の光は第２撮像領域１１６に集光される。フィルタ１５４は、第１撮像領域１１５上に形成され、第１の周波数帯域の光のみを透過する。フィルタ１５５は、第２撮像領域１１６上に形成され、第２の周波数帯域の光のみを透過する。ここで、第１の周波数帯域及び第２の周波数帯域は、近赤外領域（波長７００ｎｍ〜１１００ｎｍ）内の、互いに重複しない異なる周波数帯域である。例えば、第１の周波数帯域は、波長７５０ｎｍ〜８５０ｎｍの周波数帯域であり、第２の周波数帯域は、波長９５０ｎｍ〜１０５０ｎｍの周波数帯域である。
【００５７】
図４は、フィルタ１５２の断面構造を模式的に示す図である。なお、フィルタ１５３〜１５５の断面構造も図４と同様である。
【００５８】
図４（ａ）に示すフィルタ１５２は、上部反射層１６１と、スペーサ層１６２と、下部反射層１６３とを備える。スペーサ層１６２は下部反射層１６３上に積層され、上部反射層１６１は、スペーサ層１６２上に積層される。
【００５９】
上部反射層１６１及び下部反射層１６３は、３層の高屈折率材料で構成される層１６４と、３層の低屈折率材料で構成される層１６５とを、交互に積層した構造である。高屈折率材料で構成される層１６４は、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。低屈折率材料で構成される層１６５は、例えば、酸化シリコンＳｉＯ2（屈折率１．４５）で構成される。スペーサ層１６２は、高屈折率材料で構成され、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。また、フィルタ１５２は、スペーサ層１６２を中心にして、光学膜厚λ／４（λ：設定中心波長）の多層膜構造の上部反射層１６１及び下部反射層１６３が対称となるように配置される。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層１６２の膜厚を変化させることによって、その透過ピーク波長を変化させることができる。
【００６０】
図５は、図４（ａ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、透過率の計算には誘電体多層膜干渉フィルタにおいて広く知られている特性マトリクス法を用いた。図５に示すように、例えば、ＴｉＯ2層１６４を９０ｎｍとし、ＳｉＯ2層１６５を１５５ｎｍとすることで、実線１７４で示す特性の設定中心波長９００ｎｍの多層膜干渉フィルタを構成することができる。また、ＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとすることで、破線１７５で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。ここで、スペーサ層１６２は、光学膜厚をλ／２としている。また、図５に示すように、図４（ａ）に示すフィルタ１５２は、短波長帯（波長８００ｎｍ以下）の光を透過する特性を有するが、短波長カット光学フィルタ（例えば朝日分光（株）ＬＩＯ８４０等：図５の二点鎖線１７６）を併用することで、波長９００ｎｍ又は１０００ｎｍの光のみを透過することができる。
【００６１】
なお、フィルタ１５２の構成は、図４（ｂ）に示すように、所定の膜厚及び層数のＴｉＯ2層とＳｉＯ2層とを積層した、反射層１６６と、反射層１６７と、多層膜干渉フィルタ１６８とを構成してもよい。
【００６２】
図６は、図４（ｂ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、図４（ｂ）に示す多層膜干渉フィルタ１６８は、例えば、図４（ａ）に示す構造である。多層膜干渉フィルタ１６８の上部反射層１６１と、スペーサ層１６２と、下部反射層１６３との膜厚及び層数を設定することで、設定中心波長をそれぞれ８００ｎｍ、又は１０００ｎｍの多層膜干渉フィルタを構成する。さらに、多層膜干渉フィルタ１６８上に、反射層１６６及び１６７を積層することにより、短波長側の透過特性を抑圧する。これにより、図６に示す実線１７７で示す特性の設定中心波長８００ｎｍの多層膜干渉フィルタ及び破線１７８で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。例えば、多層膜干渉フィルタ１６８に含まれるＴｉＯ2層１６４を７９ｎｍとし、ＳｉＯ2層１６５を１３７ｎｍとし、反射層１６７に含まれる最上層及び最下層のＴｉＯ2層１６４を２０ｎｍとし、それ以外のＴｉＯ2層１６４を４０ｎｍとし、ＳｉＯ2層１６５を６８ｎｍとし、反射層１６６に含まれる最上層及び最下層のＴｉＯ2層１６４を２７ｎｍとし、それ以外のＴｉＯ2層１６４を５４ｎｍとし、ＳｉＯ2層１６５を９４ｎｍとすることで、設定中心波長８００ｎｍの多層膜干渉フィルタを構成することができる。また、多層膜干渉フィルタ１６８に含まれるＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとし、反射層１６７に含まれる最上層及び最下層のＴｉＯ2層１６４を２５ｎｍとし、それ以外のＴｉＯ2層１６４を５０ｎｍとし、ＳｉＯ2層１６５を８６ｎｍとし、反射層１６６に含まれる最上層及び最下層のＴｉＯ2層１６４を３５ｎｍとし、それ以外のＴｉＯ2層１６４を７０ｎｍとし、ＳｉＯ2層１６５を１２０ｎｍとすることで、設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。
【００６３】
なお、高屈折率材料で構成される層１６４は、酸化チタンＴｉＯ2で構成されるとしたが、窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ2Ｏ5）、又は酸化ジルコニウム（ＺｒＯ2）等で構成してもよい。また、低屈折率材料で構成される層１６５は、酸化シリコンＳｉＯ2で構成されるとしたが用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンＳｉＯ2以外の材料を用いてもよい。
【００６４】
また、上述した設定中心波長、スペーサ層の膜厚、ペア数は１例であり、所望の分光特性に合わせて設定すればよい。
【００６５】
このように、誘電体多層膜干渉フィルタを用いることで、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように固体撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がない。よって、プロセスの安定化、及び生産性向上に伴う低コスト化を実現することができる。
【００６６】
さらに、誘電体多層膜干渉フィルタを用いることにより、無機材料のみを用いてフィルタを構成することができる。これにより、高温及び高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００６７】
次に、本実施の形態に係る固体撮像装置１００の動作を説明する。
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、フィルタ１５４を介して第１撮像領域１１５に照射される。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、フィルタ１５５を介して第２撮像領域１１６に照射される。ここで、第１撮像領域１１５及び第２撮像領域１１６上にフィルタ１５４及び１５５を備えることにより、フィルタ１５２を介してレンズ１５０で集光された光は、フィルタ１５５で遮断されるので第２撮像領域１１６には入射せず第１撮像領域１１５のみに入射する。また、フィルタ１５３を介してレンズ１５１で集光された光は、フィルタ１５４で遮断されるので第１撮像領域１１５には入射せず、第２撮像領域１１６のみに入射する。すなわち、本発明の実施の形態１に係る固体撮像装置１００は、第１撮像領域１１５及び第２撮像領域１１６に入射する光の干渉を防止することができる。また、フィルタ１５２〜１５４を備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。これにより、単一のＣＭＯＳイメージセンサで、２つのレンズから入射した光を互いに干渉させることなく容易に撮像することができる。
【００６８】
第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された第１の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された第２の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。垂直走査部１１２は、制御部１３０からの垂直同期信号により、行列状に配置された光電変換素子１１１の行を順次選択する。水平走査部１１３は、制御部１３０からの水平同期信号により、行列状に配置された光電変換素子１１１の列を順次選択する。Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を順次デジタル信号に変換し、デジタル化した映像信号を出力する。
【００６９】
このように、本発明の実施の形態１に係る固体撮像装置１００は、単一のＣＭＯＳイメージセンサで撮像した２つの映像信号（左画像及び右画像）を出力する。これにより、異なるＣＭＯＳイメージセンサで撮像した映像信号に比べて、ばらつきを低減し、エピポーラ性を向上させることができる。ここで、エピポーラ性が高いとは、２つの映像信号の垂直方向のずれ（差分）が少ないことを意味する。
【００７０】
図７は、撮像部１１０が出力する映像信号の画像の一例を示す図である。図７において、画像１７１ａ及び１７１ｂは、第１撮像領域１１５で撮像された左画像であり、画像１７２ａ及び１７２ｂは、第２撮像領域１１６で撮像された右画像である。例えば、被写体１６０を撮像した場合、撮像部１１０は、図７（ａ）に示す画像１７１ａ及び１７２ａを出力する。
【００７１】
映像信号保持部１２３は、撮像部１１０が出力した左画像の映像信号及び右画像の映像信号を保持する。距離情報算出部１２４は、映像信号保持部１２３が保持する左画像の映像信号及び右画像の映像信号から、被写体１６０の距離情報を算出する。
【００７２】
図８は、図７（ａ）に示す画像に対する距離情報算出部１２４の処理を説明するための図である。距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａから被写体１６０の視差ｄを算出する。視差ｄは、左画像１７１ａと、右画像１７２ａにおける被写体１６０の水平方向のズレ（差分）である。例えば、距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａの各行のデータを比較し、一致するか否かを判定する。次に、右画像１７２ａの各行のデータを右側にシフトさせ、シフトさせたデータが左画像１７１ａと一致するか否かを判定する。右画像１７２ａの各行のデータを右側にシフトする動作及び左画像１７１ａと一致を判定する処理を繰り返す。信号処理部１２０は、各行の左画像１７１ａと右画像１７２ａがもっとも類似したときの右画像１７２ａのシフト数を視差ｄとして算出する。具体的には、距離情報算出部１２４は、映像信号保持部１２３が保持する左画像のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返す。距離情報算出部１２４は、所定の回数の処理毎に、ずらしたｍ行の左画像と、映像信号保持部１２３が保持する右画像のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する。距離情報算出部１２４は、所定の回数の処理毎に、算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する。距離情報算出部１２４は、所定の回数の前記処理毎に、算出した和が、距離情報保持部１２５が保持している和より小さい場合に、算出した和と、ずらし処理が実行された回数とを距離情報保持部１２５に保持する。距離情報保持部１２５は、距離情報算出部１２４による所定の回数のずらし処理が終了した後に、保持する処理が実行された回数を、視差として外部に出力する。例えば、ずらし処理によるずらし量（通常１画素）をｎ画素とし、ずらし処理が実行された回数をＮ回とし、画素ピッチをＰｘとした場合には、視差ＺはＺ＝ｎ×Ｎ×Ｐｘで算出される。なお、距離情報算出部１２４のずらし処理によるずらし量は、外部からの入力により設定されてもよい。これにより、任意のずらし量を設定し、視差の精度及び処理時間を任意に設定することができる。
【００７３】
以下に、信号処理部１２０の具体的な動作を説明する。
図９は、撮像部１１０の左画像及び右画像の光電変換に用いられる光電変換素子１１１の配置の一例を示す図である。図９に示すように、２４行×２４列の光電変換素子１１１に対し、第１列から第１２列を、左画像を撮像する第１撮像領域１１５とし、第１３列から第２４列を、右画像を撮像する第２撮像領域１１６とした場合の信号処理部１２０の動作を説明する。図９に示すように、複数の光電変換素子１１１の第１列〜第１２列が、左画像の第１列〜第１２列に対応し、複数の光電変換素子１１１の第１３列〜第２４が、右画像の第１列〜第１２列に対応する。
【００７４】
まず、Ａ／Ｄ変換部１１４は、第１行及び第２行の光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。すなわち、映像信号保持部１２３は、左画像及び右画像の第１行及び第２行に対応する映像信号を保持する。
【００７５】
次に、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像の第１行及び第２行の映像信号から、視差を算出する。
【００７６】
図１０は、信号処理部１２０による視差の算出の処理の流れを示すフローチャートである。図１１及び図１２は、距離情報算出部１２４による、視差の算出処理を説明するための図である。図１１（ａ）に示すような右画像及び左画像の映像信号が読み出され、映像信号保持部１２３に保持された場合について説明する。なお、図中の枠内の数値は、映像信号の信号レベルを示し、例えば、入射光の輝度に対応した値である。
【００７７】
距離情報算出部１２４は、例えば、２行の映像信号の１２列の映像信号を４列毎の３つの領域Ａ、Ｂ及びＣに分割し、それぞれの領域に対して、視差を算出する。すなわち、距離情報算出部１２４は、２行×４列の画素毎に視差を算出する。まず、距離情報算出部１２４は、図１２（ａ）に示すように、左画像の各画素の信号レベル３０１と、右画像の各画素の信号レベル３０２の差分の絶対値３０３を算出する（Ｓ１０１）。次に、距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０２）。例えば、図１２（ａ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「６」、「１４」及び「１４」が算出される。距離情報算出部１２４は、算出した合計値３０４を距離情報保持部１２５に保持する（Ｓ１０３）。
【００７８】
図１３は、信号処理部１２０の視差の算出処理において、距離情報保持部１２５に保持されるデータの一例を示す図である。距離情報算出部１２４により、図１２（ａ）に示す合計値３０４が算出された場合、距離情報保持部１２５に、図１３（ａ）に示すクロック数３１１として「０」が保持され、各領域Ａ、Ｂ及びＣの合計値３０４の最小値３１２として「６」、「１４」及び「１４」が保持される。ここで、クロック数３１１は、左画像のシフト動作が行われた回数に対応する。
【００７９】
次に、距離情報算出部１２４は、図１１（ｂ）に示すように、左画像を左方向（又は右画像を右方向）に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｂ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「２０」及び「２０」が算出される。
【００８０】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ａ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「８」、「２０」及び「２０」は、距離情報保持部１２５に保持される各領域の合計値「６」、「１４」及び「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持されるクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ａ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される（図１３（ｂ））。
【００８１】
次に、距離情報算出部１２４は、所定の回数のシフト動作が行われたか否かを判定する。なお、ここでは、所定の回数が「４」の場合について説明する。シフト回数は「１」であり所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｃ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｃ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「０」、「１４」及び「２０」が算出される。
【００８２】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ｂ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「０」は、距離情報保持部１２５に保持される領域Ａの合計値「６」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１を、現在のクロック数（シフト回数）「２」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。また、算出した領域Ｂの合計値「１４」は、距離情報保持部１２５に保持される領域Ｂの合計値「１４」と等しく、算出した領域Ｃの合計値「２０」は、距離情報保持部１２５に保持される領域Ｃの合計値「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ｃ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。なお、距離情報算出部１２４が算出した合計値３０４と、距離情報保持部１２５に保持される合計値の最小値３１２が等しい場合に、距離情報保持部１２５に保持されるクロック数３１１を更新してもよい。
【００８３】
シフト回数は「２」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｄ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｄ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「０」及び「０」が算出される。
【００８４】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１３（ｃ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「８」は、距離情報保持部１２５に保持される領域Ａの合計値「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。また、算出した領域Ｂ及びＣの合計値「０」及び「０」は、距離情報保持部１２５に保持される領域Ｂ及びＣの合計値「１４」及び「１４」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１を、現在のクロック数（シフト回数）を「３」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。よって、距離情報保持部１２５には、図１３（ｄ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００８５】
シフト数は「３」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１１（ｅ）に示すように、左画像を左方向にシフト１画素させる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１２（ｅ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「１３」、「２０」及び「１０」が算出される。
【００８６】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値（図１３（ｄ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「１３」、「２０」及び「１０」は、距離情報保持部１２５に保持される各領域の合計値「０」、「０」及び「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域のクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１３（ｅ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００８７】
シフト数は「４」であり、所定の回数（４回）のシフト動作が行われたので（Ｓ１０９でＹｅｓ）、距離情報保持部１２５は、保持するクロック数３１１を、視差として出力する。
【００８８】
次に、信号処理部１２０は、右画像及び左画像の第３行及び第４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。さらに、信号処理部１２０は、右画像及び左画像の第５行〜第２４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。
【００８９】
以上の処理により、信号処理部１２０は、右画像及び左画像から２行×４列の画素毎に視差を算出し出力する。
【００９０】
以上より、本発明の実施の形態１に係る固体撮像装置１００は、撮像部１１０と、撮像部で撮像された第１映像信号及び第２映像信号から被写体までの距離に関する情報を算出する信号処理部１２０とが同一の半導体基板に形成される。これにより、撮像部１１０と信号処理部１２０との間の配線を短くすることができる。よって、ノイズに対する耐性を向上させることができる。また、撮像部１１０が出力する映像信号（右画像及び左画像）の伝送速度を向上させることができる。さらに、右画像及び左画像は、単一の撮像部１１０により撮像されるので、右画像と左画像とのばらつきを低減することができる。これにより、信号処理部１２０は、被写体までの距離に関する情報を高精度かつ効率よく算出することができる。また、映像信号（右画像及び左画像）と、被写体までの距離に関する情報（視差）とを外部に出力することができる。
【００９１】
なお、信号処理部１２０は、映像信号１２１及び距離情報１２２をパラレルに出力してもよいし、共通の端子からシリアルに出力してもよい。さらに、信号処理部１２０は、映像信号１２１及び距離情報（視差）１２２とを個別に出力しているが、左画像又は右画像に視差の情報を付与して出力してもよい。さらに、左画像及び右画像を合成して出力してもよい。さらに、信号処理部１２０は、算出した視差とから固体撮像装置１００から被写体１６０への距離を算出し、距離情報１２２として出力してもよい。
【００９２】
また、上記説明では、２４行×２４列の光電変換素子１１１が配置された場合について説明したが、光電変換素子１１１の数（画素数）は、これに限定されるものではない。
【００９３】
また、上記説明では、２行×４列の画素毎に、視差を算出する例について説明したが、視差を算出する画素の範囲は、これに限定されるものではない。
【００９４】
また、上記説明では、ステップＳ１０１及びＳ１０５において、左画像と右画像との各画素の信号レベルの差分の絶対値を算出し、ステップＳ１０２及びＳ１０６において、各画素の差分の合計値を算出しているが、以下の処理に置き換えてもよい。各領域Ａ、Ｂ及びＣ毎に、左画像の複数の画素の信号レベルを加算し、上述した信号レベル３０１に置き換える。右画像も同様に、各領域Ａ、Ｂ及びＣ毎に、複数の画素の信号レベルを加算し、上述した信号レベル３０２に置き換える。各領域Ａ、Ｂ及びＣ毎に、差分の絶対値を算出し、上述した合計値３０４に置き換えて、その後、同様の処理を行ってもよい。これにより、細密な高画素の撮像素子を用いた場合に、一定の距離情報の精度を保ちながら計算処理量を削減することができる。
【００９５】
また、上記説明では、ステップＳ１０４において１画素ずつシフトさせる処理を行ったが複数画素ずつシフトさせる処理を行ってもよい。
【００９６】
ここで、図７（ｂ）に示すように、左画像１７１ｂと、右画像１７２ｂとが垂直方向にズレが生じている（エピポーラ性が悪い）場合、一致を比較する各行において、ズレにより画像が一致しないため、距離情報算出部１２４の視差ｄの算出処理における精度が低下する。また、左画像と右画像とが水平方向にずれている場合は、ズレに相当する画素分、視差ｄの精度が低下する。本発明の実施の形態１に係る固体撮像装置１００では、上述したように、単一のＣＭＯＳイメージセンサで右画像と左画像とを撮像することで、右画像と左画像との水平方向及び垂直方向のズレを低減することができる。これにより、視差ｄの算出精度を向上させることができる。また、撮像面において高いエピポーラ性が得られるとともに、右画像及び左画像の光電変換特性も同じであるため視差ｄを精度高く容易に算出することができる。
【００９７】
また、上記説明において、第１撮像領域１１５及び第２撮像領域１１６は、図２に示すよう複数の光電変換素子１１１を、右左（水平方向）に分割するように配置されているが、上下（垂直方向）に分割するように配置してもよい。
【００９８】
また、上記説明において、フィルタ１５２はレンズ１５０の上部に形成され、フィルタ１５３は、レンズ１５１の上部に形成されるとしたが、フィルタ１５２はレンズ１５０の下部に形成され、フィルタ１５３は、レンズ１５１の下部に形成されてもよい。
【００９９】
また、上記説明において、撮像部１１０及び信号処理部１２０の構成として、図２に示す構成を説明したが、図１４に示す構成としてもよい。図１４は、本発明の実施の形態１に係る固体撮像装置１００の撮像部１１０及び信号処理部１２０の変形例の構成を示す図である。例えば、図１４に示すように、撮像部１１０は、行列状に配置された光電変換素子１１１の各列の光電変換素子１１１が光電変換した信号電荷をそれぞれデジタル信号に変換するＡ／Ｄ変換部１１７を備えてもよい。すなわち、Ａ／Ｄ変換部１１７は、各行に配置された複数の光電変換素子１１１が光電変換した信号電荷を同時にＡ／Ｄ変換する機能を有する。各列の信号電荷をデジタル信号に変換するＡ／Ｄ変換部１１７を備えることにより、高速にＡ／Ｄ変換を行うことができる。これにより、撮像部１１０からの読出し処理を高速に行うことができる。また、各行の信号電荷を同時に読み出すことができるので、信号処理部１２０における行単位の視差算出処理を効率よく行うことができる。
【０１００】
また、上記説明において、フィルタ１５４は、第１の周波数帯域の光のみを透過するとしたが、第１の周波数帯域に含まれる周波数帯域のみを透過してもよい。すなわち、フィルタ１５２は、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）の光のみを透過し、第１のフィルタ１５４は、第１の周波数帯域に含まれる周波数帯域（例えば、波長７７０ｎｍ〜８３０ｎｍ）の光のみを透過してもよい。さらに、フィルタ１５４は、透過率が低い周波数帯域として、第１の周波数帯域に含まれない周波数帯域を透過してもよい。例えば、フィルタ１５４は、透過率３０％以下であれば、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）に含まれない帯域を含む広帯域な周波数特性（例えば、波長７００ｎｍ〜９００ｎｍ）を有してもよい。
【０１０１】
同様に、フィルタ１５５は、第２の周波数帯域に含まれる周波数帯域のみを透過してもよい。さらに、フィルタ１５５は、透過率が低い周波数帯域として、第２の周波数帯域に含まれない周波数帯域を透過してもよい。
【０１０２】
また、上記説明では、第１の周波数帯域と、第２の周波数帯域とは、互いに重複しない異なる周波数帯域であるとしたが、第１の周波数帯域の一部と、第２の周波数帯域の一部とが重複してもよい。例えば、フィルタ１５２が透過する周波数帯域の透過率が５０％以下の領域が、フィルタ１５３が透過する周波数帯域の一部に含まれてもよい。
【０１０３】
また、上記説明において、信号処理部１２０は、撮像部１１０で撮像された右画像及び左画像を出力するとしたが、算出した視差に基づき右画像及び左画像の一部を置き換えて出力してもよい。例えば、信号処理部１２０は、距離情報保持部１２５が保持する視差と、所定の範囲とを比較し、視差が所定の範囲に含まれない場合には、該視差に対応する右画像及び左画像を所定の画像（所定の画素信号又は固定値（黒又は白等））に置き換えて出力してもよい。これにより、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【０１０４】
（実施の形態２）
上述した実施の形態１に係る固体撮像装置１００は、異なる波長の光を透過するフィルタ１５２〜１５５を用いることにより、第１撮像領域１１５及び第２撮像領域１１６に入射する光を制御している。しかしながら、２つの第１撮像領域１１５及び第２撮像領域１１６に入射する光は、それぞれ波長が異なるため、出力される映像信号の画像に差が生じる。
【０１０５】
本発明の実施の形態２に係る固体撮像装置は、２つの撮像領域に加え、さらに、補正を行うための撮像領域を備える。これにより、撮像した映像信号の補正を行い、２つの撮像領域が出力する画像の差を低減することができる。
【０１０６】
まず、本発明の実施の形態２に係る固体撮像装置の構成を説明する。
図１５は、本発明の実施の形態２に係る固体撮像装置の構成を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１０７】
図１５に示す固体撮像装置２００は、図１に示す実施の形態１に係る固体撮像装置１００に対して、半導体装置２０１の構成と、レンズ２４０とを備える点とが異なる。半導体装置２０１は、半導体装置１０１に対して、さらに、平均値算出部２２０と、画像補正部２３０とを備える。また、半導体装置２０１は、半導体装置１０１に対して、撮像部２１０の構成が異なる。
【０１０８】
図１６は、撮像部２１０の構成を示す図である。撮像部２１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１０９】
複数の光電変換素子１１１は、第１撮像領域１１５、第２撮像領域１１６又は第３撮像領域２１１に含まれる。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１と、第３撮像領域２１１に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。第３撮像領域２１１に含まれる光電変換素子１１１は、レンズ２４０で集光された光を光電変換する。なお、図１６において６行×６列の光電変換素子１１１が配置されているが、光電変換素子１１１の数は、これに限定されるものではない。
【０１１０】
レンズ２４０は、被写体１６０からの反射光を第３撮像領域２１１に集光する。
図１７は、第１撮像領域１１５、第２撮像領域１１６及び第３撮像領域２１１の断面構造を模式的に示す図である。なお、第１撮像領域１１５、第２撮像領域１１６、レンズ１５０、１５１及びフィルタ１５２〜１５５の構成は図３に示す実施の形態１の構成と同様であり、詳細な説明は省略する。図１７に示すように、固体撮像装置２００は、さらに、フィルタ２４１及び２４２を備える。また、第３撮像領域２１１は、第１撮像領域１１５と第２撮像領域１１６との間に配置される。
【０１１１】
フィルタ２４１及び２４２は、多層膜干渉フィルタであり、例えば、上述した実施の形態１と同様に図５に示す構造である。被写体１６０からの反射光は、フィルタ２４１、レンズ２４０及びフィルタ２４２からなる光入射経路により、第３撮像領域２１１に入射される。フィルタ２４１は、レンズ２４０の上部に形成される。フィルタ２４１は、フィルタ１５２及び１５４が透過する第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）と、フィルタ１５３及び１５５が透過する第２の周波数帯域（例えば、波長９５０ｎｍ〜１０５０ｎｍ）とを含む第３の周波数帯域（例えば、７５０ｎｍ〜１０５０ｎｍ）の光を透過する。すなわち、フィルタ２４１及びレンズ２４０により、第３の周波数帯域の光は第３撮像領域２１１に集光される。フィルタ２４２は、第３撮像領域２１１上に形成される。
【０１１２】
図１８は、フィルタ２４２を上面から見た構成を模式的に示す図である。図１８に示すようにフィルタ２４２は、第１の周波数帯域の光を透過するフィルタ２４３と、第２の周波数帯域の光を透過するフィルタ２４４とを含む。フィルタ２４３及び２４４は、例えば、格子状に配置される。なお、フィルタ２４３及び２４４の配置は、格子状に限定されるものではなく、例えば、行方向又は列方向にストライプ状であってもよいし、複数の光電変換素子１１１が配置される領域を２分するように配置してもよい（例えば、図１８における右半分にフィルタ２４３を配置し、左半分にフィルタ２４４を配置してもよい。）。また、各フィルタ２４３及び２４４は、第３撮像領域２１１の複数の光電変換素子１１１にそれぞれ対応し、複数の光電変換素子１１１上にそれぞれ形成されている。
【０１１３】
平均値算出部２２０は、第３撮像領域２１１が出力する各画素の信号の平均値を算出する。具体的には、平均値算出部２２０は、フィルタ２４３に対応する光電変換素子１１１が光電変換した信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１が光電変換した信号の平均値ｙ２とを算出する。
【０１１４】
画像補正部２３０は、平均値算出部２２０が算出した平均値ｙ１及びｙ２に基づき、第１撮像領域１１５及び第２撮像領域１１６が出力する映像信号の各画素の信号を補正する。具体的には、画像補正部２３０は、第１撮像領域１１５が出力する映像信号の各画素の信号Ｙ１に対して、下記（式１）で示される演算を行い補正後の各画素の信号Ｙ１１を算出する。
【０１１５】
Ｙ１１＝Ｙ１×（ｙ２／ｙ１） ・・・（式１）
【０１１６】
または、画像補正部２３０は、第２撮像領域１１６が出力する映像信号の各画素の信号Ｙ２に対して、下記（式２）で示される演算を行い補正後の各画素の信号Ｙ２２を算出してもよい。
【０１１７】
Ｙ２２＝Ｙ２×（ｙ１／ｙ２） ・・・（式２）
【０１１８】
次に、固体撮像装置２００の動作を説明する。
【０１１９】
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、フィルタ１５４を介して第１撮像領域１１５に照射される。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、フィルタ１５５を介して第２撮像領域１１６に照射される。また、被写体１６０で反射した反射光は、フィルタ２４１により第１の周波数帯域及び第２の周波数帯域を含む第３の周波数帯域の光のみが透過し、レンズ２４０で集光され、フィルタ２４２を介して第３撮像領域２１１に照射される。
【０１２０】
第１撮像領域１１５は、第１の周波数帯域の光を光電変換し、映像信号Ｙ１を出力する。第２撮像領域１１６は、第２の周波数帯域の光を光電変換し、映像信号Ｙ２を出力する。第３撮像領域２１１のフィルタ２４３の下部に形成された光電変換素子１１１は、第１の周波数帯域の光を光電変換し、信号を出力する。第３撮像領域２１１のフィルタ２４４の下部に形成された光電変換素子１１１は、第２の周波数帯域の光を光電変換し、信号を出力する。
【０１２１】
平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１の信号の平均値ｙ２とを算出する。
【０１２２】
画像補正部２３０は、上記（式１）により、平均値算出部２２０が算出した平均値ｙ１及びｙ２とから、第１撮像領域１１５が出力する映像信号Ｙ１に補正を行い、補正後の映像信号Ｙ１１を出力する。なお、画像補正部２３０は、上記（式１）による補正を行わず、上記（式２）により、平均値算出部２２０が算出した平均値ｙ１及びｙ２とから、第２撮像領域１１６が出力する映像信号Ｙ２に補正を行い、補正後の映像信号Ｙ２２を出力してもよい。
【０１２３】
信号処理部１２０は、補正後の映像信号Ｙ１１を左画像とし、第２撮像領域１１６が出力する映像信号Ｙ２を右画像として、左画像と右画像との視差ｄを算出する。なお、信号処理部１２０は、第１撮像領域１１５が出力する映像信号Ｙ１を左画像とし、補正後の映像信号Ｙ２２を右画像として、左画像と右画像との視差ｄを算出もよい。また、信号処理部１２０における視差ｄの算出は、実施の形態１と同様であり、説明は省略する。信号処理部１２０は、左画像と、右画像と、算出した視差ｄの情報とを外部に出力する。
【０１２４】
以上より、本発明の実施の形態２に係る固体撮像装置２００は、第３撮像領域２１１で光電変換した、第１の周波数帯域の光に対応する信号の平均値ｙ１と、第２の周波数帯域の光に対応する信号の平均値ｙ２とを用いて、第１撮像領域１１５及び第２撮像領域１１６で撮像された映像信号に補正を行う。これにより、第１撮像領域１１５及び第２撮像領域１１６に入射される光の周波数帯域の差により生じる、第１撮像領域１１５及び第２撮像領域１１６が出力する映像信号の差を低減することができる。
【０１２５】
なお、上記説明において、第３撮像領域２１１は、第１撮像領域１１５と第２撮像領域１１６との間に形成されるとしたが、第３撮像領域２１１を配置する位置はこれに限定されるものではない。例えば、図１７における第１撮像領域１１５の左側、又は、図１７における第２撮像領域１１６の右側に形成してもよい。
【０１２６】
また、上記説明において、第１撮像領域１１５、第２撮像領域１１６及び第３撮像領域２１１は、単一のＣＭＯＳイメージセンサとして形成される例を説明したが、第３撮像領域２１１は、第１撮像領域１１５及び第２撮像領域１１６とを含むＣＭＯＳイメージセンサとは、別のＣＭＯＳイメージセンサとして形成されてもよい。
【０１２７】
また、上記説明において、固体撮像装置２００は、レンズ２４０の上部に第１の周波数帯域及び第２の周波数帯域を含む第３の周波数帯域の光を透過するフィルタ２４１を備えるとしたが、フィルタ２４１はレンズ２４０の下部に形成されてもよい。さらに、フィルタ２４１を備えなくともよい。
【０１２８】
また、上記説明において、画像補正部２３０は、上記（式１）又は（式２）に示す演算を行うとしたが、上記（式１）又は（式２）に示す演算に加え、所定の定数倍及び所定の値の加算のうち少なくとも一方を行ってもよい。
【０１２９】
また、上記説明において、平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号の平均値ｙ１と、フィルタ２４４に対応する光電変換素子１１１の信号の平均値ｙ２とを算出するとしたが、平均値算出部２２０は、第３撮像領域２１１が出力するフィルタ２４３に対応する光電変換素子１１１の信号のうち、最大及び最小の信号を除いた信号の平均値ｙ１１と、フィルタ２４４に対応する光電変換素子１１１の信号のうち、最大及び最小の信号を除いた信号の平均値ｙ２２とを算出してもよい。さらに、画像補正部２３０は、上記（式１）又は（式２）の平均値ｙ１及びｙ２の代わりに最大及び最小の信号を除いた信号の平均値ｙ１１及びｙ２２を用いて演算を行ってもよい。これにより、白キズ，黒キズなどの画素欠陥による精度の低下を低減することができる。
【０１３０】
また、上記説明において、第３撮像領域２１１の構成は、第１撮像領域１１５及び第２撮像領域１１６と同様であるとしたが、第３撮像領域２１１の構成は第１撮像領域１１５及び第２撮像領域１１６と異なってもよい。例えば、第３撮像領域２１１が備える光電変換素子１１１の数は、第１撮像領域１１５及び第２撮像領域１１６が備える光電変換素子１１１の数と異なってもよい。また、第３撮像領域２１１が備える光電変換素子１１１は、２次元状（行列状）に配置されず、１次元状に配置されてもよい。
【０１３１】
また、上記実施の形態１及び２における説明では、本発明を車両に搭載された近赤外光を用いた暗視機能を有するカメラに適用した実施例について説明したが、車両に搭載された近赤外光を用いた暗視機能を有するカメラ以外にも、撮像被写体までの距離情報を出力するカメラとして適用することができる。例えば、本発明に係る固体撮像装置は、監視装置に用いられるカメラ及びＴＶ電話のカメラ等に適用することができる。
【０１３２】
また、上記実施の形態１及び２における説明では、固体撮像装置は、近赤外光を照射する光源１４０を備えるとしたが、光源１４０は、近赤外光以外の光を照射してもよい。例えば、光源１４０は、可視光を照射してもよい。この場合、上述した第１の周波数帯域及び第２の周波数帯域は、可視光内の、互いに重複しない異なる周波数帯域であればよい。さらに、暗視機能を必要としない場合には、固体撮像装置は、光源１４０を備えなくともよい。
【産業上の利用可能性】
【０１３３】
本発明は、固体撮像装置に適用でき、特に、車載用のカメラ、監視カメラ及びＴＶ電話のカメラ等に適用できる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る固体撮像装置の撮像部及び信号処理部の構成を示す図である。
【図３】本発明の実施の形態１に係る固体撮像装置の撮像部の断面構造を模式的に示す図である。
【図４】本発明の実施の形態１に係る固体撮像装置のフィルタの断面構造を模して気的に示す図である。
【図５】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図６】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図７】本発明の実施の形態１に係る固体撮像装置の撮像部が出力する映像信号の一例を示す図である。
【図８】本発明の実施の形態１に係る固体撮像装置の信号処理部の処理を説明するための図である。
【図９】本発明の実施の形態１に係る固体撮像装置の左画像及び右画像の光電変換に用いられる光電変換素子の配置の一例を示す図である。
【図１０】本発明の実施の形態１に係る固体撮像装置の信号処理部による距離情報の算出の処理の流れを示すフローチャートである。
【図１１】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１２】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１３】本発明の実施の形態１に係る固体撮像装置の距離情報算出部の距離情報の算出処理において距離情報保持部に保持されるデータの一例を示す図である。
【図１４】本発明の実施の形態１に係る固体撮像装置の撮像部及び信号処理部の変形例の構成を示す図である。
【図１５】本発明の実施の形態２に係る固体撮像装置の構成を示す図である。
【図１６】本発明の実施の形態２に係る固体撮像装置の撮像部の構成を示す図である。
【図１７】本発明の実施の形態２に係る固体撮像装置の撮像部の断面構造を模式的に示す図である。
【図１８】本発明の実施の形態２に係る固体撮像装置のフィルタ２４２の構成を示す図である。
【図１９】従来の固体撮像装置の構成を示す図である。
【符号の説明】
【０１３５】
１００、２００、１０００ 固体撮像装置
１０１、２０１ 半導体装置
１１０、２１０ 撮像部
１１１ 光電変換素子
１１２ 垂直走査部
１１３ 水平走査部
１１４、１１７ Ａ／Ｄ変換部
１１５ 第１撮像領域
１１６ 第２撮像領域
１２０ 信号処理部
１２１ 映像信号
１２２ 距離情報
１２３ 映像信号保持部
１２４ 距離情報算出部
１２５ 距離情報保持部
１３０ 制御部
１４０ 光源
１５０、１５１、２４０ レンズ
１５２、１５３、１５４、１５５、２４１、２４２、２４３、２４４ フィルタ
１６０ 被写体
１６１ 上部反射層
１６２ スペーサ層
１６３ 下部反射層
１６４ ＴｉＯ2層
１６５ ＳｉＯ2層
１６６、１６７ 反射層
１６８ 多層膜干渉フィルタ
１７１ａ、１７１ｂ 左画像
１７２ａ、１７２ｂ 右画像
２１１ 第３撮像領域
２２０ 平均値算出部
２３０ 画像補正部
１００１、１００２ カメラ
【特許請求の範囲】
【請求項１】
第１撮像領域と第２撮像領域とを含む領域に行列状に配置された複数の光電変換素子を備える撮像部と、
前記第１撮像領域へ光を導いて入射させる第１光入射部と、
前記第１光入射部と離間して設けられ、前記第２撮像領域へ光を導いて入射させる第２光入射部と、
前記第１撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記第２撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段とを備え、
前記撮像部と、前記出力手段と、前記算出手段とは、同一の半導体基板に形成される
ことを特徴とする固体撮像装置。
【請求項２】
前記算出手段は、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、
前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、
前記視差算出手段が算出した前記視差を保持する第２保持手段とを備える
ことを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記視差算出手段は、
前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、
前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力する
ことを特徴とする請求項２記載の固体撮像装置。
【請求項４】
前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、
前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、
前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、
前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項５】
前記第１光入射部は、
第１の周波数帯域の光を前記第１撮像領域に集光する第１集光手段と、
前記第１撮像領域上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタとを備え、
前記第２光入射部は、
前記第１の周波数帯域と異なる第２の周波数帯域の光を前記第２撮像領域に集光する第２集光手段と、
前記第２撮像領域上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える
ことを特徴とする請求項１〜４のいずれか１項に記載の固体撮像装置。
【請求項６】
前記固体撮像装置は、さらに、
行列状に配置された複数の光電変換素子を備える第３撮像領域と、
前記第３撮像領域へ光を導いて入射させる第３光入射部とを備え、
前記第３光入射部は、
前記第１の周波数帯域及び前記第２の周波数帯域を含む第５の周波数帯域の光を前記第３撮像領域に集光する第３集光手段と、
前記第３撮像領域上に形成される第３のフィルタを備え、
前記第３のフィルタは、
前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第１の光電変換素子上に形成され、前記第２の周波数帯域の光を遮断し、前記第３の周波数帯域の光を透過する第４のフィルタと、
前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第２の光電変換素子上に形成され、前記第１の周波数帯域の光を遮断し、前記第４の周波数帯域の光を透過する第５のフィルタとを含む
ことを特徴とする請求項５記載の固体撮像装置。
【請求項７】
前記固体撮像装置は、さらに、
前記複数の第１の光電変換素子が光電変換した信号の平均値である第１平均値と、前記複数の第２の光電変換素子が光電変換した信号の平均値である第２平均値とを算出する平均値算出手段と、
前記平均値算出手段が算出した前記第１平均値及び第２平均値の比に基づき、前記第１映像信号及び前記第２映像信号を補正する補正手段とを備える
ことを特徴とする請求項６記載の固体撮像装置。
【請求項８】
前記第１のフィルタ及び前記第２のフィルタは、
第１誘電体層及び第２誘電体層と、
前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、
前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なる
ことを特徴とする請求項５記載の固体撮像装置。
【請求項９】
前記固体撮像装置は、さらに、
前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備える
ことを特徴とする請求項５記載の固体撮像装置。
【請求項１０】
前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれる
ことを特徴とする請求項５〜９のいずれか１項に記載の固体撮像装置。
【請求項１１】
前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備える
ことを特徴とする請求項１〜１０のいずれか１項に記載の固体撮像装置。
【請求項１２】
前記算出手段は、さらに、
前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備える
ことを特徴とする請求項２記載の固体撮像装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の固体撮像装置を備える
ことを特徴とするカメラ。
【請求項１４】
請求項１３記載のカメラを備える
ことを特徴とする車両。
【請求項１５】
請求項１３記載のカメラを備える
ことを特徴とする監視装置。
【請求項１】
第１撮像領域と第２撮像領域とを含む領域に行列状に配置された複数の光電変換素子を備える撮像部と、
前記第１撮像領域へ光を導いて入射させる第１光入射部と、
前記第１光入射部と離間して設けられ、前記第２撮像領域へ光を導いて入射させる第２光入射部と、
前記第１撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記第２撮像領域に配置された複数の光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段とを備え、
前記撮像部と、前記出力手段と、前記算出手段とは、同一の半導体基板に形成される
ことを特徴とする固体撮像装置。
【請求項２】
前記算出手段は、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、
前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、
前記視差算出手段が算出した前記視差を保持する第２保持手段とを備える
ことを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記視差算出手段は、
前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、
前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力する
ことを特徴とする請求項２記載の固体撮像装置。
【請求項４】
前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、
前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、
前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記ずらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、
前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項５】
前記第１光入射部は、
第１の周波数帯域の光を前記第１撮像領域に集光する第１集光手段と、
前記第１撮像領域上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタとを備え、
前記第２光入射部は、
前記第１の周波数帯域と異なる第２の周波数帯域の光を前記第２撮像領域に集光する第２集光手段と、
前記第２撮像領域上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える
ことを特徴とする請求項１〜４のいずれか１項に記載の固体撮像装置。
【請求項６】
前記固体撮像装置は、さらに、
行列状に配置された複数の光電変換素子を備える第３撮像領域と、
前記第３撮像領域へ光を導いて入射させる第３光入射部とを備え、
前記第３光入射部は、
前記第１の周波数帯域及び前記第２の周波数帯域を含む第５の周波数帯域の光を前記第３撮像領域に集光する第３集光手段と、
前記第３撮像領域上に形成される第３のフィルタを備え、
前記第３のフィルタは、
前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第１の光電変換素子上に形成され、前記第２の周波数帯域の光を遮断し、前記第３の周波数帯域の光を透過する第４のフィルタと、
前記第３撮像領域が備える前記複数の光電変換素子に含まれる複数の第２の光電変換素子上に形成され、前記第１の周波数帯域の光を遮断し、前記第４の周波数帯域の光を透過する第５のフィルタとを含む
ことを特徴とする請求項５記載の固体撮像装置。
【請求項７】
前記固体撮像装置は、さらに、
前記複数の第１の光電変換素子が光電変換した信号の平均値である第１平均値と、前記複数の第２の光電変換素子が光電変換した信号の平均値である第２平均値とを算出する平均値算出手段と、
前記平均値算出手段が算出した前記第１平均値及び第２平均値の比に基づき、前記第１映像信号及び前記第２映像信号を補正する補正手段とを備える
ことを特徴とする請求項６記載の固体撮像装置。
【請求項８】
前記第１のフィルタ及び前記第２のフィルタは、
第１誘電体層及び第２誘電体層と、
前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、
前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なる
ことを特徴とする請求項５記載の固体撮像装置。
【請求項９】
前記固体撮像装置は、さらに、
前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備える
ことを特徴とする請求項５記載の固体撮像装置。
【請求項１０】
前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれる
ことを特徴とする請求項５〜９のいずれか１項に記載の固体撮像装置。
【請求項１１】
前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備える
ことを特徴とする請求項１〜１０のいずれか１項に記載の固体撮像装置。
【請求項１２】
前記算出手段は、さらに、
前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備える
ことを特徴とする請求項２記載の固体撮像装置。
【請求項１３】
請求項１〜１２のいずれか１項に記載の固体撮像装置を備える
ことを特徴とするカメラ。
【請求項１４】
請求項１３記載のカメラを備える
ことを特徴とする車両。
【請求項１５】
請求項１３記載のカメラを備える
ことを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−１６４３６７（Ｐ２００８−１６４３６７Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５２６４４（Ｐ２００６−３５２６４４）
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]