固体撮像装置、カメラ、車両及び監視装置
【課題】高いエピポーラ性と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することができる固体撮像装置を提供する。
【解決手段】本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子１１１を備える撮像部１１０と、第１の周波数帯域の光を集光する第１集光部１５０と、第１集光部１５０と離間して設けられ、第２の周波数帯域の光を集光する第２集光部１５１と、第１集光部１５０が集光した光及び第２集光部１５１が集光した光を撮像部１１０に入射する光入射部と、複数の光電変換素子１１１に含まれる複数の第１光電変換素子上に形成され、第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタ１５８と、複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタ１５９とを備える。
【解決手段】本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子１１１を備える撮像部１１０と、第１の周波数帯域の光を集光する第１集光部１５０と、第１集光部１５０と離間して設けられ、第２の周波数帯域の光を集光する第２集光部１５１と、第１集光部１５０が集光した光及び第２集光部１５１が集光した光を撮像部１１０に入射する光入射部と、複数の光電変換素子１１１に含まれる複数の第１光電変換素子上に形成され、第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタ１５８と、複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタ１５９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置、カメラ、車両及び監視装置に関し、特に、独立した複数の光入射経路から入射した光を撮像し、複数の映像信号を出力する固体撮像装置に関する。
【背景技術】
【０００２】
立体映像の撮像、又は、被写体までの距離に関する情報（以下、「距離情報」と記す。）を伴った映像情報を得るために、２つの撮像領域を備えるカメラが用いられている。距離情報を伴う映像情報を出力するカメラは、車載用カメラとして用いることで、前方の障害の大きさ及び距離の検知し、ドライバに警告を発することができる。さらに、障害物の検知にともない、自動的にエンジン、ブレーキ及びステアリング等を制御することで、障害物への衝突を回避することができる。さらに、車内に設けたカメラにより、乗員の大きさ（大人又は子供等）、及び乗員の頭部の位置等を検知し、エアバックのＯｐｅｎスピード及び圧力等を制御することができる。
【０００３】
また、距離情報を伴う映像情報を出力するカメラは、監視カメラ及びＴＶ電話等のカメラとして用いた場合には、所定の距離内の被写体のみを撮像及び表示することで、映像情報のデータ量の削減及び視認性の向上を実現することができる。
【０００４】
従来の立体映像の撮像を行うカメラとしては、２台のカメラを備えるステレオカメラが知られている。
【０００５】
図１８は、従来の立体映像を撮像する固体撮像装置の構成を示す図である。
図１８に示す固体撮像装置１０００は、ステレオカメラであり、カメラ１００１及び１００２を備える。カメラ１００１及び１００２は所定の距離を隔てて設置される。カメラ１００１及び１００２が撮像した映像信号より、立体映像が生成される。
【０００６】
図１８に示す従来の固体撮像装置１０００は、２台のカメラ１００１及び１００２を用いるため、カメラ１００１及び１００２における製造ばらつき等の影響により、十分なエピポーラ性を保てない（２台のカメラが撮像した映像信号に位置的なズレが生じる）という問題と、２台のカメラ１００１及び１００２の撮像特性が同一ではないという問題と、２台のカメラから出力される信号の出力タイミングに時間的遅延が生じるという問題とにより、距離情報を算出するために多大な調整工数及び信号処理工程を必要とする。
【０００７】
上記問題に対して、１チップのＬＳＩ（Large Scale Integration）として、２つの撮像領域を備えるステレオカメラが知られている（例えば、特許文献１参照。）。
【０００８】
特許文献１記載のステレオカメラは、被写体を撮像する２つの撮像領域を１チップ化することにより、２つの撮像領域の製造ばらつきの影響を低減することができる。
【特許文献１】特開平９−７４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオカメラ等の立体映像の撮像、又は、距離情報を伴った映像情報を出力するカメラにおいては、より高いエピポーラ性（２つの撮像領域が撮像した映像信号のばらつきが少ない状態）と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することが好ましい。
【００１０】
そこで、本発明は、高いエピポーラ性と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子を備える撮像部と、第１の周波数帯域の光を集光する第１集光部と、前記第１集光部と離間して設けられ、前記第１の周波数帯域と異なる第２の周波数帯域の光を集光する第２集光部と、前記第１集光部が集光した光及び前記第２集光部が集光した光を前記撮像部に入射する光入射部と、前記複数の光電変換素子に含まれる複数の第１光電変換素子上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタと、前記複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える。
【００１２】
この構成によれば、本発明に係る固体撮像装置は、離間して設けられた第１集光部及び第２集光部で集光された光を単一の撮像部で光電変換し、２つの映像信号を出力することができる。これにより、２つの映像信号を出力する撮像部の位置が物理的に近いので、出力する２つの映像信号のばらつきを低減することができる。すなわち、出力する２つの映像信号のエピポーラ性と、撮像特性の同一性と、信号出力タイミングの同期性とを向上させることができる。さらに、第１集光部により集光された第１の周波数帯域の光は、第２のフィルタにより遮断されるので、第２光電変換素子には照射されない。よって、第２光電変換素子に対する第１の周波数帯域の光の干渉を低減することができる。また、第２集光部により集光された第２の周波数帯域の光は、第１のフィルタにより遮断されるので、第１光電変換素子には照射されない。よって、第１光電変換素子に対する第２の周波数帯域の光の干渉を低減することができる。これにより、離間して設けられた第１集光部及び第２集光部で集光された光を、単一の撮像部で容易に撮像することができる。さらに、視差方向のチップ長を抑えることができ、視差方向に対する垂直方向の領域が少なくてよい場合（垂直方向の解像度が低くてもよい場合）には、２つの撮像領域を隣接するよう配置したときよりもチップの縦横比を１に近づけることができる。これにより、反りなどの影響が低減される。また、円形のウェハーからの取れ数も改善される。
【００１３】
また、前記固体撮像装置は、さらに、前記複数の第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記複数の第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段を備えてもよい。
【００１４】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、被写体までの距離の情報とを外部に出力することができる。
【００１５】
また、前記算出手段は、前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、前記視差算出手段が算出した前記視差を保持する第２保持手段とを備えてもよい。
【００１６】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、視差とを外部に出力することができる。
【００１７】
また、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力してもよい。
【００１８】
この構成によれば、映像信号のｍ行×ｎ列毎に対する視差を算出することができる。
また、前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出してもよい。
【００１９】
この構成によれば、外部から視差算出を行うブロック単位（ｍ１行×ｎ１列）を任意に設定することができる。
【００２０】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置されてもよい。
【００２１】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数を多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。
【００２２】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記第１光電変換素子と前記第２光電変換素子とは、１以上の行毎に交互に配置されてもよい。
【００２３】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数が多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。さらに、互いに対応する第１光電変換素子と第２光電変換素子との配置位置を近くすることができるので、第１映像信号と第２映像信号のばらつきを低減することができる。
【００２４】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置され、前記第１光電変換素子と前記第２光電変換素子とは、ｍ行毎に交互に配置されてもよい。
【００２５】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数が多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。さらに、互いに対応する第１光電変換素子と第２光電変換素子との配置位置を近くすることができるので、第１映像信号と第２映像信号のばらつきを低減することができる。さらに、視差算出手段で行われる視差算出処理の行の単位（ｍ行）と同じ行毎に交互に、第１光電変換素子と第２光電変換素子とが配置される。これにより、行列状に配置される複数の光電変換素子の行を順次インクリメントしながら、映像信号を出力する場合でも、出力された第１映像信号及び第２映像信号から視差を順次算出することができる。すなわち、視差算出手段による視差算出の処理を効率よく、かつ高速に行うことができる。さらに、最小で、第１保持手段及び第２保持手段にそれぞれｍ行の第１映像信号、第２映像信号及び視差を保持すればよいので、第１保持手段及び第２保持手段の記憶容量を削減することができる。
【００２６】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記固体撮像装置は、さらに、前記第１映像信号の画像と、前記第２映像信号の画像との列方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち一方の前記ズレ値に応じた行と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち他方とから視差を算出してもよい。
【００２７】
この構成によれば、ズレ値保持手段が保持するズレ値に応じて、視差算出手段は、撮像部が出力する第１映像信号と第２映像信号との列方向のズレを補正することができる。よって、第１映像信号と第２撮像信号とのエピポーラ性を向上させることができる。
【００２８】
また、前記撮像部は、前記第１光電変換素子の行を選択する第１行選択手段と、前記第２光電変換素子の行を選択する第２行選択手段とを備え、前記出力手段は、前記第１行選択手段により行選択された前記第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第１映像信号として出力し、前記第２行選択手段により選択された前記第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第２映像信号として出力し、前記固体撮像装置は、さらに、前記ズレ値保持手段が保持する前記ズレ値に応じた行から前記第１行選択手段又は前記第２行選択手段による行の選択を開始させる行制御手段を備えてもよい。
【００２９】
この構成によれば、行制御手段による第１行選択手段又は第２行選択手段が行選択を開始する行を変更するだけの容易な制御で、第１映像信号と第２映像信号との列方向のズレを補正することができる。
【００３０】
また、前記固体撮像装置は、さらに、前記第１映像信号及び前記第２映像信号から、前記ズレ値を算出するズレ値算出手段を備え、前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持してもよい。
【００３１】
この構成によれば、製品出荷後の、任意のタイミング（電源投入時、所定の時間毎、又は外部操作に応じたタイミング等）で、ズレ値を算出し、算出したズレ値に応じた補正を行うことができる。これにより、設置環境等による動作条件の変化、及び経時変化等により特性（ズレ値）が変化した場合にも、最適な補正を行うことができる。
【００３２】
また、前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備えてもよい。
【００３３】
この構成によれば、各行の光電変換素子に蓄積された信号電荷を同時にデジタル信号に変換し（Ａ／Ｄ変換し）、出力することができる。よって、映像信号の読出しを高速に行うことができる。
【００３４】
また、前記第１保持手段は、少なくともｍ行の前記第１映像信号及び前記第２映像信号を保持してもよい。
【００３５】
この構成によれば、第１保持手段及び第２保持手段の記憶容量を削減することができる。これにより、固体撮像装置の小型化及びコスト低減を行うことができる。
【００３６】
また、前記第１保持手段は、少なくとも２×ｍ行の前記第１映像信号及び前記第２映像信号を保持し、前記第２保持手段は、ｍ行単位の少なくとも２×ｍ行の前記視差算出手段が算出した前記視差を保持し、前記視差算出手段は、前記２×ｍ行のうち一方のｍ行の前記第１映像信号及び前記第２映像信号と、該ｍ行の第１映像信号及び第２映像信号に対応するｍ行の視差とが出力されている間に、前記２×ｍ行のうち他方のｍ行の前記第１映像信号及び前記第２映像信号から、ｍ行の視差を算出してもよい。
【００３７】
この構成によれば、第１保持手段及び第２保持手段の記憶容量を削減することができる。これにより、固体撮像装置の小型化及びコスト低減を行うことができる。さらに、一方のｍ行の視差を算出している間に、他方のｍ行の映像信号（第１映像信号及び第２映像信号）と距離情報とを出力することができる。これにより、フレームレートを高めることができる。
【００３８】
また、前記算出手段は、さらに、前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備えてもよい。
【００３９】
この構成によれば、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【００４０】
また、前記第１のフィルタ及び前記第２のフィルタは、誘電体で構成される第１誘電体層及び第２誘電体層と、前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なってもよい。
【００４１】
この構成によれば、第１のフィルタ及び第２のフィルタに、耐光性及び耐熱性に優れた多層膜干渉フィルタが用いられる。これにより、無機材料のみを用いてフィルタを構成することができる。フィルタを無機材料のみで構成することで、高温及び高照射下で使用しても退色現象を生じない。よって、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００４２】
また、前記固体撮像装置は、さらに、前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備えてもよい。
【００４３】
この構成によれば、光源が被写体に照射した光の反射光を撮像部で受光することができる。これにより、夜間及び暗所での撮像を行うことができる。
【００４４】
また、前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれてもよい。
この構成によれば、近赤外領域の光を用いて、被写体の撮像を行うことができる。これにより、車載カメラ等として本発明の固体撮像装置を用いた場合に、視認性の向上と、対向車両及び歩行者に対する眩惑の防止とを実現することができる。
【００４５】
また、本発明に係るカメラは、前記固体撮像装置を備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを実現することができる。
【００４６】
また、本発明に係る車両は、前記カメラを備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを備える車両を実現することができる。
【００４７】
また、本発明に係る監視装置は、前記カメラを備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを備える監視装置を実現することができる。
【発明の効果】
【００４８】
本発明は、高いエピポーラ性と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することができる固体撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００５０】
（実施の形態１）
本発明の実施の形態１に係る固体撮像装置は、単一の撮像領域で撮像した２つの映像信号から、被写体までの距離の情報を算出する。これにより、個別の撮像領域で撮像した２つの映像信号を用いる場合に比べ、２つの映像信号の位置的なばらつきを低減することができる。よって、２つの映像信号のエピポーラ性を向上させることができる。
【００５１】
まず、本実施の形態に係る固体撮像装置の構成を説明する。
図１は、本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【００５２】
図１に示す固体撮像装置１００は、撮像の被写体１６０の映像情報及び距離情報を出力する。固体撮像装置１００は、例えば、車両に搭載された近赤外領域の光（以下、「近赤外光」と記す。）を用いた暗視機能を有するカメラである。固体撮像装置１００は、撮像領域１１０と、信号処理部１２０と、制御部１３０と、光源１４０と、レンズ１５０及び１５１とを備える。
【００５３】
光源１４０は、近赤外光（波長７００ｎｍ〜１１００ｎｍ）を被写体１６０に照射する。光源１４０は、例えば、ＬＥＤ（発光ダイオード）又は半導体レーザで構成される。
【００５４】
レンズ１５０及び１５１は、被写体１６０からの反射光を撮像領域１１０に集光する。レンズ１５１は、レンズ１５０と水平方向に離間して設けられる。
【００５５】
撮像領域１１０は、ＣＭＯＳイメージセンサであり、入射光に応じた映像信号を出力する。撮像領域１１０被写体１６０からの反射光を電気信号に変換し、変換した電気信号を２つの映像信号（左画像及び右画像）として出力する。具体的には、撮像領域１１０は、レンズ１５０で集光された光を電気信号に変換し、変換した電気信号を左画像として出力する。撮像領域１１０は、レンズ１５１で集光された光を電気信号に変換し、変換した電気信号を右画像として出力する。
【００５６】
図２は、撮像領域１１０及び信号処理部１２０の構成を示す図である。撮像領域１１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。
【００５７】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５又は第２撮像領域１１６に含まれる。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。なお、行列状に配置される複数の光電変換素子１１１の行方向は水平方向に対応し、列方向は垂直方向に対応する。
【００５８】
垂直走査部１１２は、複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【００５９】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【００６０】
Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。すなわち、Ａ／Ｄ変換部１１４は、光電変換素子１１１に蓄積された信号電荷に基づくアナログ信号を、デジタル信号に変換し映像信号として出力する。また、Ａ／Ｄ変換部１１４が出力する映像信号は、第１撮像領域１１５に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した左画像に対応する映像信号と、第２撮像領域１１６に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した右画像に対応する映像信号とが含まれる。
【００６１】
制御部１３０は、撮像領域１１０及び信号処理部１２０を制御する。具体的には、制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。電荷蓄積制御信号は、複数の光電変換素子１１１の電荷蓄積時間（露光時間）を制御するための信号である。
【００６２】
信号処理部１２０は、被写体までの距離情報を、撮像領域１１０が出力する左画像と右画像とから算出し、映像信号１２１及び距離情報１２２を外部に出力する。信号処理部１２０は、映像信号保持部１２３と、距離情報算出部１２４と、距離情報保持部１２５とを備える。
【００６３】
映像信号保持部１２３は、撮像領域１１０が出力する映像信号である左画像及び右画像を保持する。また、映像信号保持部１２３は、保持する映像信号１２１を外部に出力する。
【００６４】
距離情報算出部１２４は、映像信号保持部１２３が保持する左画像及び右画像から、被写体までの距離情報である視差を算出する。
【００６５】
距離情報保持部１２５は、距離情報算出部１２４が算出した距離情報（視差）を保持する。また、距離情報保持部１２５は、保持する距離情報１２２を外部に出力する。
【００６６】
図３は、撮像領域１１０の断面構造を模式的に示す図である。図３に示すように、固体撮像装置１００は、さらに、フィルタ１５２、１５３及び１５７と。ミラー１５４及び１５５と、ダイクロックミラー１５６とを備える。フィルタ１５２、１５３及び１５７は、例えば、多層膜干渉フィルタである。
【００６７】
被写体１６０からの反射光は、フィルタ１５２、レンズ１５０、ミラー１５４、ダイクロックミラー１５６及びフィルタ１５７からなる光入射経路により、撮像領域１１０に入射される。また、被写体１６０からの反射光は、フィルタ１５３、レンズ１５１、ミラー１５５、ダイクロックミラー１５６及びフィルタ１５７からなる光入射経路により、撮像領域１１０に入射される。
【００６８】
フィルタ１５２は、レンズ１５０の上部に形成され、第１の周波数帯域の光のみを透過する。フィルタ１５３は、レンズ１５１の上部に形成され、第１の周波数帯域と異なる第２の周波数帯域の光のみを透過する。ミラー１５４は、レンズ１５０が集光した光をダイクロックミラー１５６に反射する。ミラー１５５は、レンズ１５１が集光した光をダイクロックミラー１５６に反射する。ダイクロックミラー１５６は、ミラー１５４及びミラー１５５からの光を撮像領域１１０に反射する。すなわち、フィルタ１５２及びレンズ１５０により、第１の周波数帯域の光が集光される。フィルタ１５３及びレンズ１５１により、第２の周波数帯域の光が集光される。ミラー１５４、１５５及びダイクロックミラー１５６により、集光された第１の周波数帯域の光及び第２の周波数帯域の光が撮像領域１１０に入射される。フィルタ１５７は、撮像領域１１０上に形成される。ここで、第１の周波数帯域及び第２の周波数帯域は、近赤外領域（波長７００ｎｍ〜１１００ｎｍ）内の、互いに重複しない異なる周波数帯域である。例えば、第１の周波数帯域は、波長７５０ｎｍ〜８５０ｎｍの周波数帯域であり、第２の周波数帯域は、波長９５０ｎｍ〜１０５０ｎｍの周波数帯域である。
【００６９】
図４は、フィルタ１５７を上面から見た構成を模式的に示す図である。フィルタ１５７は、第１の周波数帯域の光のみを透過する第１のフィルタ１５８と、第２の周波数帯域の光のみを透過する第２のフィルタ１５９とを含む。第１のフィルタ１５８は、第１撮像領域１１５に含まれる光電変換素子１１１上に形成される。第２のフィルタ１５９は、第２撮像領域１１６に含まれる光電変換素子１１１上に形成される。例えば、図４（ａ）に示すように、第１のフィルタ１５８と第２のフィルタ１５９とは、行列状に配置された複数の光電変換素子１１１が形成される領域を列方向（垂直方向）に分割するように配置される。具体的には、第１のフィルタ１５８は、行列状に配置される複数の光電変換素子１１１のうち上半分の行（６×６画素の場合は、上方向の３行）の光電変換素子１１１上に形成される。また、第２のフィルタ１５９は、行列状に配置される複数の光電変換素子１１１のうち下半分の行（６×６画素の場合は、下方向の３行）の光電変換素子１１１上に形成される。
【００７０】
図５は、フィルタ１５２の断面構造を模式的に示す図である。なお、フィルタ１５３及び１５７の断面構造も図５と同様である。
【００７１】
図５（ａ）に示すフィルタ１５２は、上部反射層１６１と、スペーサ層１６２と、下部反射層１６３とを備える。スペーサ層１６２は下部反射層１６３上に積層され、上部反射層１６１は、スペーサ層１６２上に積層される。
【００７２】
上部反射層１６１及び下部反射層１６３は、３層の高屈折率材料で構成される層１６４と、３層の低屈折率材料で構成される層１６５とを、交互に積層した構造である。高屈折率材料で構成される層１６４は、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。低屈折率材料で構成される層１６５は、例えば、酸化シリコンＳｉＯ2（屈折率１．４５）で構成される。スペーサ層１６２は、高屈折率材料で構成され、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。また、フィルタ１５２は、スペーサ層１６２を中心にして、光学膜厚λ／４（λ：設定中心波長）の多層膜構造の上部反射層１６１及び下部反射層１６３が対称となるように配置される。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層１６２の膜厚を変化させることによって、その透過ピーク波長を変化させることができる。
【００７３】
図６は、図５（ａ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、透過率の計算には誘電体多層膜干渉フィルタにおいて広く知られている特性マトリクス法を用いた。図６に示すように、例えば、ＴｉＯ2層１６４を９０ｎｍとし、ＳｉＯ2層１６５を１５５ｎｍとすることで、実線１７４で示す特性の設定中心波長９００ｎｍの多層膜干渉フィルタを構成することができる。また、ＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとすることで、破線１７５で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。ここで、スペーサ層１６２は、光学膜厚をλ／２としている。また、図６に示すように、図５（ａ）に示すフィルタ１５２は、短波長帯（波長８００ｎｍ以下）の光を透過する特性を有するが、短波長カット光学フィルタ（例えば朝日分光（株）ＬＩＯ８４０等：図６の二点鎖線１７６）を併用することで、波長９００ｎｍ又は１０００ｎｍの光のみを透過することができる。
【００７４】
なお、フィルタ１５２の構成は、図５（ｂ）に示すように、所定の膜厚及び層数のＴｉＯ2層とＳｉＯ2層とを積層した、上部反射層１６６と、スペーサ層１６７と、下部反射層１６８とを構成してもよい。
【００７５】
図７は、図５（ｂ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。図７に示すように、上部反射層１６６と、スペーサ層１６７と、下部反射層１６８との膜厚及び層数を最適化することにより、実線１７７で示す特性の設定中心波長８００ｎｍの多層膜干渉フィルタ及び破線１７８で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。
【００７６】
なお、高屈折率材料で構成される層１６４は、酸化チタンＴｉＯ2で構成されるとしたが、窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ2Ｏ5）、又は酸化ジルコニウム（ＺｒＯ2）等で構成してもよい。また、低屈折率材料で構成される層１６５は、酸化シリコンＳｉＯ2で構成されるとしたが用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンＳｉＯ2以外の材料を用いてもよい。
【００７７】
また、上述した設定中心波長、スペーサ層の膜厚、ペア数は１例であり、所望の分光特性に合わせて設定すればよい。
【００７８】
このように、誘電体多層膜干渉フィルタを用いることで、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように固体撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がない。よって、プロセスの安定化、及び生産性向上に伴う低コスト化を実現することができる。
【００７９】
さらに、誘電体多層膜干渉フィルタを用いることにより、無機材料のみを用いてフィルタを構成することができる。これにより、高温及び高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００８０】
次に、本実施の形態に係る固体撮像装置１００の動作を説明する。
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、ミラー１５４で反射され、ダイクロックミラー１５６で反射され、フィルタ１５７を介して撮像領域１１０に照射される。撮像領域１１０に照射される第１の周波数帯域の光は、第１のフィルタ１５８を透過し、第１撮像領域１１５の光電変換素子１１１に入射する。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、ミラー１５５で反射され、ダイクロックミラー１５６で反射され、フィルタ１５７を介して撮像領域１１０に照射される。撮像領域１１０に照射される第２の周波数帯域の光は、第２のフィルタ１５９を透過し、第２撮像領域１１６の光電変換素子１１１に入射する。このように、撮像領域１１０上に第１のフィルタ１５８及び第２のフィルタ１５９を含むフィルタ１５７を備えることにより、フィルタ１５２を介してレンズ１５０で集光された第１の周波数帯域の光は、第２のフィルタ１５９で遮断されるので第２撮像領域１１６には入射せず第１撮像領域１１５にのみ入射する。また、フィルタ１５３を介してレンズ１５１で集光された第２の周波数帯域の光は、第１のフィルタ１５８で遮断されるので第１撮像領域１１５には入射せず第２撮像領域１１６にのみ入射する。すなわち、本発明の実施の形態１に係る固体撮像装置１００は、第１撮像領域１１５及び第２撮像領域１１６に入射する光の干渉を防止することができる。また、フィルタ１５２、１５３及び１５７を備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。これにより、単一のＣＭＯＳイメージセンサで、２つのレンズから入射した光を互いに干渉させることなく容易に撮像することができる。
【００８１】
第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された第１の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された第２の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。垂直走査部１１２は、制御部１３０からの垂直同期信号により、行列状に配置された光電変換素子１１１の行を順次選択する。水平走査部１１３は、制御部１３０からの水平同期信号により、行列状に配置された光電変換素子１１１の列を順次選択する。Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を順次デジタル信号に変換し、デジタル化した映像信号を出力する。
【００８２】
このように、本発明の実施の形態１に係る固体撮像装置１００は、単一のＣＭＯＳイメージセンサで撮像した２つの映像信号（左画像及び右画像）を出力する。これにより、異なるＣＭＯＳイメージセンサで撮像した映像信号に比べて、ばらつきを低減し、エピポーラ性と、撮像特性の同一性と、信号出力タイミングの同期性とを向上させることができる。ここで、エピポーラ性が高いとは、２つの映像信号の垂直方向の位置的なずれ（差分）が少ないことを意味する。
【００８３】
図８は、撮像領域１１０が出力する映像信号の画像の一例を示す図である。図８において、画像１７１ａ及び１７１ｂは、第１撮像領域１１５で撮像された左画像であり、画像１７２ａ及び１７２ｂは、第２撮像領域１１６で撮像された右画像である。例えば、被写体１６０を撮像した場合、撮像領域１１０は、図８（ａ）に示す画像１７１ａ及び１７２ａを出力する。
【００８４】
映像信号保持部１２３は、撮像領域１１０が出力した左画像の映像信号及び右画像の映像信号を保持する。距離情報算出部１２４は、映像信号保持部１２３が保持する左画像の映像信号及び右画像の映像信号から、被写体１６０の距離情報を算出する。
【００８５】
図９は、図８（ａ）に示す画像に対する距離情報算出部１２４の処理を説明するための図である。距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａから被写体１６０の視差ｄを算出する。視差ｄは、左画像１７１ａと、右画像１７２ａにおける被写体１６０の水平方向のズレ（差分）である。例えば、距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａの各行のデータを比較し、一致するか否かを判定する。次に、右画像１７２ａの各行のデータを右側にシフトさせ、シフトさせたデータが左画像１７１ａと一致するか否かを判定する。右画像１７２ａの各行のデータを右側にシフトする動作及び左画像１７１ａと一致を判定する処理を繰り返す。信号処理部１２０は、各行の左画像１７１ａと右画像１７２ａがもっとも類似したときの右画像１７２ａのシフト数を視差ｄとして算出する。具体的には、距離情報算出部１２４は、映像信号保持部１２３が保持する左画像のｍ行（ｍ：１以上の整数）の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返す。距離情報算出部１２４は、所定の回数の処理毎に、ずらしたｍ行の左画像と、映像信号保持部１２３が保持する右画像のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する。距離情報算出部１２４は、所定の回数の処理毎に、算出した差分の絶対値、ｎ列（ｎ：１以上の整数）毎の和を算出する。距離情報算出部１２４は、所定の回数の前記処理毎に、算出した和が、距離情報保持部１２５が保持している和より小さい場合に、算出した和と、ずらし処理が実行された回数とを距離情報保持部１２５に保持する。距離情報保持部１２５は、距離情報算出部１２４による所定の回数のずらし処理が終了した後に、保持する処理が実行された回数を、視差として外部に出力する。例えば、距離情報算出部１２４のずらし処理によるずらし量（通常１画素）をｎ画素とし、ずらし処理が実行された回数をＮ回とし、画素ピッチをＰｘとした場合には、視差ＺはＺ＝ｎ×Ｎ×Ｐｘで算出される。なお、距離情報算出部１２４のずらし処理によるずらし量は、外部からの入力により設定されてもよい。これにより、任意のずらし量を設定し、視差の精度及び処理時間を任意に設定することができる。
【００８６】
以下に、信号処理部１２０の具体的な動作を説明する。
図１０は、撮像領域１１０の左画像及び右画像の光電変換に用いられる光電変換素子１１１の配置の一例を示す図である。図１０に示すように、１２行×１２列の光電変換素子１１１に対し、左画像を撮像する第１撮像領域１１５と、右画像を撮像する第２撮像領域１１６とが、２行毎に交互に配置された場合の信号処理部１２０の動作を説明する。図１０に示すように、複数の光電変換素子１１１の第１行及び第２行が、第２撮像領域１１６の第１行及び第２行に対応し、複数の光電変換素子１１１の第３行及び第４行が、第１撮像領域１１５の第１行及び第２行に対応し、複数の光電変換素子１１１の第５行及び第６行が、第２撮像領域１１６の第３行及び第４行に対応し、複数の光電変換素子１１１の第７行及び第８行が、第１撮像領域１１５の第３行及び第４行に対応し、複数の光電変換素子１１１の第９行及び第１０行が、第２撮像領域１１６の第５行及び第６行に対応し、複数の光電変換素子１１１の第１１行及び第１２行が、第１撮像領域１１５の第５行及び第６行に対応する。
【００８７】
まず、Ａ／Ｄ変換部１１４は、右画像の第１行（複数の光電変換素子１１１の第１行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、右画像の第２行（複数の光電変換素子１１１の第２行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、左画像の第１行（複数の光電変換素子１１１の第３行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、右画像の第２行（複数の光電変換素子１１１の第４行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。
【００８８】
次に、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像の第１行及び第２行の映像信号から、視差を算出する。
【００８９】
図１１は、信号処理部１２０による視差の算出の処理の流れを示すフローチャートである。図１２及び図１３は、距離情報算出部１２４による、視差の算出処理を説明するための図である。図１２（ａ）に示すような右画像及び左画像の映像信号が読み出され、映像信号保持部１２３に保持された場合について説明する。なお、図中の枠内の数値は、映像信号の信号レベルを示し、例えば、入射光の輝度に対応した値である。
【００９０】
距離情報算出部１２４は、例えば、２行の映像信号の１２列の映像信号を４列毎の３つの領域Ａ、Ｂ及びＣに分割し、それぞれの領域に対して、視差を算出する。すなわち、距離情報算出部１２４は、２行×４列の画素毎に視差を算出する。まず、距離情報算出部１２４は、図１３（ａ）に示すように、左画像の各画素の信号レベル３０１と、右画像の各画素の信号レベル３０２の差分の絶対値３０３を算出する（Ｓ１０１）。次に、距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０２）。例えば、図１３（ａ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「６」、「１４」及び「１４」が算出される。距離情報算出部１２４は、算出した合計値３０４を距離情報保持部１２５に保持する（Ｓ１０３）。
【００９１】
図１４は、信号処理部１２０の視差の算出処理において、距離情報保持部１２５に保持されるデータの一例を示す図である。距離情報算出部１２４により、図１３（ａ）に示す合計値３０４が算出された場合、距離情報保持部１２５に、図１４（ａ）に示すクロック数３１１として「０」が保持され、各領域Ａ、Ｂ及びＣの合計値３０４の最小値３１２として「６」、「１４」及び「１４」が保持される。ここで、クロック数３１１は、左画像のシフト動作が行われた回数に対応する。
【００９２】
次に、距離情報算出部１２４は、図１２（ｂ）に示すように、左画像を左方向（又は右画像を右方向）に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｂ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「２０」及び「２０」が算出される。
【００９３】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ａ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「８」、「２０」及び「２０」は、距離情報保持部１２５に保持される各領域の合計値「６」、「１４」及び「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持されるクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ａ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される（図１４（ｂ））。
【００９４】
次に、距離情報算出部１２４は、所定の回数のシフト動作が行われたか否かを判定する。なお、ここでは、所定の回数が「４」の場合について説明する。シフト回数は「１」であり所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｃ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｃ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「０」、「１４」及び「２０」が算出される。
【００９５】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ｂ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「０」は、距離情報保持部１２５に保持される領域Ａの合計値「６」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１を、現在のクロック数（シフト回数）「２」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。また、算出した領域Ｂの合計値「１４」は、距離情報保持部１２５に保持される領域Ｂの合計値「１４」と等しく、算出した領域Ｃの合計値「２０」は、距離情報保持部１２５に保持される領域Ｃの合計値「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ｃ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。なお、距離情報算出部１２４が算出した合計値３０４と、距離情報保持部１２５に保持される合計値の最小値３１２が等しい場合に、距離情報保持部１２５に保持されるクロック数３１１を更新してもよい。
【００９６】
シフト回数は「２」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｄ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｄ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「０」及び「０」が算出される。
【００９７】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ｃ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「８」は、距離情報保持部１２５に保持される領域Ａの合計値「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。また、算出した領域Ｂ及びＣの合計値「０」及び「０」は、距離情報保持部１２５に保持される領域Ｂ及びＣの合計値「１４」及び「１４」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１を、現在のクロック数（シフト回数）を「３」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。よって、距離情報保持部１２５には、図１４（ｄ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００９８】
シフト数は「３」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｅ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｅ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「１３」、「２０」及び「１０」が算出される。
【００９９】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値（図１４（ｄ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「１３」、「２０」及び「１０」は、距離情報保持部１２５に保持される各領域の合計値「０」、「０」及び「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域のクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ｅ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【０１００】
シフト数は「４」であり、所定の回数（４回）のシフト動作が行われたので（Ｓ１０９でＹｅｓ）、距離情報保持部１２５は、保持するクロック数３１１を、視差として出力する。
【０１０１】
次に、信号処理部１２０は、右画像及び左画像の第３行及び第４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。さらに、信号処理部１２０は、右画像及び左画像の第５行及び第６行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。
【０１０２】
以上の処理により、信号処理部１２０は、右画像及び左画像から２行×４列の画素毎に視差を算出し出力する。ここで、信号処理部１２０において、２行毎に視差を算出する場合には、図１０に示すように２行毎に、右画像及び左画像に用いる光電変換素子１１１を配置することで、読み出した映像信号に対して、順次視差の算出処理を行うことができる。よって、信号処理部１２０による視差の算出処理を遅延なく高速に行うことができる。
【０１０３】
さらに、読み出した映像信号に対して順次視差の算出処理を行い、映像信号及び視差を算出することで、映像信号保持部１２３の記憶容量を削減することができる。すなわち、映像信号保持部１２３は、少なくとも距離情報算出部１２４による視差の算出単位（上記例では２行）の右画像及び左画像のデータを保持すればよい。また、距離情報保持部１２５は、少なくとも距離情報算出部１２４による視差の算出単位（上記例では２行）の視差を保持すればよい。なお、映像信号保持部１２３は、複数の視差の算出単位（例えば、視差算出単位の２倍）の右画像及び左画像のデータを保持し、距離情報保持部１２５は、複数の視差算出単位の視差を保持してもよい。これにより、距離情報算出部１２４は、映像信号保持部１２３に保持されている２行分の右画像及び左画像の映像信号と、距離情報保持部１２５に保持されている該映像信号に対応する２行分の視差とが出力されている間に、他の２行分の右画像及び左画像から、視差を算出することができる。これにより、フレームレートを高めることができる。
【０１０４】
なお、信号処理部１２０は、映像信号１２１及び距離情報１２２をパラレルに出力してもよいし、共通の端子からシリアルに出力してもよい。さらに、信号処理部１２０は、映像信号１２１及び距離情報（視差）１２２とを個別に出力しているが、左画像又は右画像に視差の情報を付与して出力してもよい。さらに、左画像及び右画像を合成して出力してもよい。さらに、信号処理部１２０は、算出した視差とから固体撮像装置１００から被写体１６０への距離を算出し、距離情報１２２として出力してもよい。
【０１０５】
また、上記説明では、１２行×１２列の光電変換素子１１１が配置された場合について説明したが、光電変換素子１１１の数（画素数）は、これに限定されるものではない。
【０１０６】
また、上記説明では、２行×４列の画素毎に、視差を算出する例について説明したが、視差を算出する画素の範囲は、これに限定されるものではない。また、ｍ行×ｎ列（ｍ及びｎは、１以上の整数）の画素毎に視差を算出する場合には、第１撮像領域及び第２撮像領域の配置を、ｍ行毎のストライプ状にすることで、視差の算出処理を遅延なく高速に行うことができる。
【０１０７】
また、上記説明では、ステップＳ１０１及びＳ１０５において、左画像と右画像との各画素の信号レベルの差分の絶対値を算出し、ステップＳ１０２及びＳ１０６において、各画素の差分の合計値を算出しているが、以下の処理に置き換えてもよい。各領域Ａ、Ｂ及びＣ毎に、左画像の複数の画素の信号レベルを加算し、上述した信号レベル３０１に置き換える。右画像も同様に、各領域Ａ、Ｂ及びＣ毎に、複数の画素の信号レベルを加算し、上述した信号レベル３０２に置き換える。各領域Ａ、Ｂ及びＣ毎に、差分の絶対値を算出し、上述した合計値３０４に置き換えて、その後、同様の処理を行ってもよい。これにより、細密な高画素の撮像素子を用いた場合に、一定の距離情報の精度を保ちながら計算処理量を削減することができる。
【０１０８】
また、上記説明では、ステップＳ１０４において１画素ずつシフトさせる処理を行ったが複数画素ずつシフトさせる処理を行ってもよい。
【０１０９】
ここで、図８（ｂ）に示すように、左画像１７１ｂと、右画像１７２ｂとが垂直方向にズレが生じている（エピポーラ性が悪い）場合、一致を比較する各行において、ズレにより画像が一致しないため、距離情報算出部１２４の視差ｄの算出処理における精度が低下する。本発明の実施の形態１に係る固体撮像装置１００では、上述したように、単一のＣＭＯＳイメージセンサで右画像と左画像とを撮像することで、右画像と左画像との水平方向及び垂直方向のズレを低減することができる。これにより、視差ｄの算出精度を向上させることができる。また、撮像面において高いエピポーラ性が得られるとともに、右画像及び左画像の光電変換特性も同じであるため視差ｄを精度高く容易に算出することができる。
【０１１０】
また、本発明の実施の形態１に係る固体撮像装置１００において、図４（ａ）に示すように、フィルタ１５７は、複数の光電変換素子１１１が配置される領域を水平方向に二分する第１のフィルタ１５８及び第２のフィルタ１５９を含む。これにより、複数の光電変換素子１１１が配置される領域を垂直方向に分割するように第１のフィルタ１５８及び第２のフィルタ１５９を形成する場合に比べて、撮像領域１１０が出力する左画像及び右画像の水平方向の画素数を増加させることができる。ここで、距離情報算出部１２４による視差ｄの算出処理において、視差ｄの算出に用いる映像信号の水平方向の解像度が高いほうが、より高い精度の視差ｄを算出することができる。よって、撮像領域１１０が出力する映像信号の水平方向の画素数を増加させることで、距離情報算出部１２４が算出する視差ｄの精度を向上させることができる。なお、水平方向の解像度を増加させるためには、行列状に配置された複数の光電変換素子１１１の各行に、第１のフィルタ１５８と第２のフィルタ１５９とのいずれか一方のみが配置されればよい。例えば、フィルタ１５７の第１のフィルタ１５８及び第２のフィルタ１５９は、図４（ｂ）に示すように、１行毎に交互に配置されてもよい。すなわち、水平方向のストライプ状であってもよい。さらに、第１のフィルタ１５８及び第２のフィルタ１５９は、複数行毎に交互に配置されてもよい。また、図４（ｃ）に示すように、第１のフィルタ１５８及び第２のフィルタ１５９を格子状に配置してもよい。また、図４（ｄ）に示すように、第１のフィルタ１５８及び第２のフィルタ１５９を垂直方向のストライプ状に配置してもよい。
【０１１１】
なお、上記説明において、フィルタ１５２はレンズ１５０の上部に形成され、フィルタ１５３は、レンズ１５１の上部に形成されるとしたが、フィルタ１５２はレンズ１５０の下部（レンズ１５０とミラー１５４との間）に形成され、フィルタ１５３は、レンズ１５１の下部（レンズ１５１とミラー１５５との間）に形成されてもよい。
【０１１２】
また、上記説明において、撮像領域１１０及び信号処理部１２０の構成として、図２に示す構成を説明したが、図１５に示す構成としてもよい。図１５は、本発明の実施の形態１に係る固体撮像装置１００の撮像領域１１０及び信号処理部１２０の変形例の構成を示す図である。例えば、図１５に示すように、撮像領域１１０は、行列状に配置された光電変換素子１１１の各列の光電変換素子１１１が光電変換した信号電荷をそれぞれデジタル信号に変換するＡ／Ｄ変換部１１７を備えてもよい。すなわち、Ａ／Ｄ変換部１１７は、各行に配置された複数の光電変換素子１１１が光電変換した信号電荷を同時にＡ／Ｄ変換する機能を有する。各列の信号電荷をデジタル信号に変換するＡ／Ｄ変換部１１７を備えることにより、高速にＡ／Ｄ変換を行うことができる。これにより、撮像領域１１０からの読出し処理を高速に行うことができる。また、各行の信号電荷を同時に読み出すことができるので、信号処理部１２０における行単位の視差算出処理を効率よく行うことができる。
【０１１３】
また、上記説明において、レンズ１５０及び１５１が集光した光を撮像領域１１０に入射する構造として、図３に示すミラー１５４、１５５及びダイクロックミラー１５６とを備える構造を説明したが、レンズ１５０及び１５１が集光した光を撮像領域１１０に入射する構造であればよく、図３に示す構造に限定されるものではない。例えば、ダイクロックミラー１５６の代わりに、ミラー１５４で反射された光を撮像領域１１０上に反射するミラーと、ミラー１５５で反射された光を撮像領域１１０上に反射するミラーとを備えてもよい。
【０１１４】
また、上記説明では、第１の周波数帯域と、第２の周波数帯域とは、互いに重複しない異なる周波数帯域であるとしたが、第１の周波数帯域の一部と、第２の周波数帯域の一部とが重複してもよい。例えば、フィルタ１５２が透過する周波数帯域の透過率が５０％以下の領域が、フィルタ１５３が透過する周波数帯域の一部に含まれてもよい。
【０１１５】
また、上記説明において、第１のフィルタ１５８は、第１の周波数帯域の光のみを透過するとしたが、第１の周波数帯域に含まれる周波数帯域のみを透過してもよい。すなわち、フィルタ１５２は、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）の光のみを透過し、第１のフィルタ１５８は、第１の周波数帯域に含まれる周波数帯域（例えば、波長７７０ｎｍ〜８３０ｎｍ）の光のみを透過してもよい。さらに、第１のフィルタ１５８は、透過率が低い周波数帯域として、第１の周波数帯域に含まれない周波数帯域を透過してもよい。例えば、第１のフィルタ１５８は、透過率３０％以下であれば、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）に含まれない帯域を含む広帯域な周波数特性（例えば、波長７００ｎｍ〜９００ｎｍ）を有してもよい。
【０１１６】
同様に、第２のフィルタ１５９は、第２の周波数帯域に含まれる周波数帯域のみを透過してもよい。さらに、第２のフィルタ１５９は、透過率が低い周波数帯域として、第２の周波数帯域に含まれない周波数帯域を透過してもよい。
【０１１７】
また、上記説明において、信号処理部１２０は、撮像領域１１０で撮像された右画像及び左画像を出力するとしたが、算出した視差に基づき右画像及び左画像の一部を置き換えて出力してもよい。例えば、信号処理部１２０は、距離情報保持部１２５が保持する視差と、所定の範囲とを比較し、視差が所定の範囲に含まれない場合には、該視差に対応する右画像及び左画像を所定の画像（所定の画素信号又は固定値（黒又は白等））に置き換えて出力してもよい。これにより、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【０１１８】
（実施の形態２）
本発明の実施の形態２に係る固体撮像装置は、撮像領域が出力する右画像と左画像との垂直方向のずれを補正する機能を有する。これにより、右画像と左画像とに垂直方向のずれがある場合でも、高いエピポーラ性を実現し、視差の算出を高精度で行うことができる。
【０１１９】
まず、本発明の実施の形態２に係る固体撮像装置の構成を説明する。
図１６は、本発明の実施の形態２に係る固体撮像装置の構成を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２０】
図１６に示す固体撮像装置２００は、図１に示す固体撮像装置１００に対して、撮像領域２０１及び制御部２３０の構成と、調整値算出部２１０及び調整値保持部２２０を備える点とが異なる。
【０１２１】
図１７は、撮像領域２０１の構成を示す図である。撮像領域２０１は、複数の光電変換素子１１１と、第１垂直走査部２１１と、第２垂直走査部２１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。なお、図２と同様の要素には、同一の符号を付している。
【０１２２】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５又は第２撮像領域１１６に含まれる。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。
【０１２３】
第１垂直走査部２１１は、第１撮像領域１１５の複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。第２垂直走査部２１２は、第２撮像領域１１６の複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【０１２４】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【０１２５】
Ａ／Ｄ変換部１１４は、第１垂直走査部２１１又は第２垂直走査部２１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。具体的には、Ａ／Ｄ変換部１１４は、第１垂直走査部２１１により行選択された第１撮像領域１１５に含まれる光電変換素子１１１が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を左画像として出力する。Ａ／Ｄ変換部１１４は、第２垂直走査部２１２により選択された第２撮像領域に含まれる光電変換素子１１１が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を右画像として出力する。
【０１２６】
調整値算出部２１０は、撮像領域２０１が出力する右画像及び左画像から、右画像と左画像との垂直方向のズレを算出する。具体的には、調整値算出部２１０は、左画像に対する、右画像の垂直方向の画素のズレを示す値である調整値２２１を算出する。例えば、図８（ｂ）に示す左画像１７１ｂ及び右画像１７２ｂの例では、調整値算出部２１０は、左画像１７１ｂと右画像１７２ｂとの垂直方向のズレ１７３を算出する。例えば、調整値算出部２１０は、左画像１７１ｂと、右画像１７２ｂとの画像データからそれぞれが一致する特異点を抽出し、画素データのＹアドレスの差分を調整値２２１として出力する。例えば、調整値算出部２１０は、左画像１７１ｂと、右画像１７２ｂのデータを比較し、一致するか否かを判定する。次に、調整値算出部２１０は、右画像１７２ｂのデータを下側にシフトさせ、シフトさせたデータが左画像１７１ｂと一致するか否かを判定する。調整値算出部２１０は、右画像１７２ｂのデータを下側に所定の回数シフトする動作毎に、左画像１７１ｂと一致を判定する処理を行う。次に、調整値算出部２１０は、下側へシフトする前の右画像１７２ｂのデータを上側にシフトさせ、シフトさせたデータが左画像１７１ｂと一致するか否かを判定する。調整値算出部２１０は、右画像１７２ｂのデータを上側に所定の回数シフトする動作毎に、左画像１７１ｂと一致を判定する処理を行う。所定の回数の一致判定処理の後、調整値算出部２１０は、最も画像が一致したシフト回数を調整値２２１として出力する。なお、調整値算出部２１０による左画像１７１ｂ及び右画像１７２ｂの一致判定処理は、左画像１７１ｂ及び右画像１７２ｂの所定の列毎に行ってもよい。
【０１２７】
調整値算出部２１０は、例えば、固体撮像装置２００の電源投入時に上述した調整値２２１の算出処理を行う。なお、調整値算出部２１０は、所定の時間毎、又は外部からの操作に応じて、上述した調整値２２１の算出処理を行ってもよい。
【０１２８】
調整値保持部２２０は、調整値算出部２１０が算出した調整値２２１を保持する。
制御部２３０は、調整値保持部２２０が保持する調整値２２１に応じた行から、撮像領域２０１の第１垂直走査部２１１の行選択を開始させる第１行制御信号と、第２垂直走査部２１２の行選択を開始させる第２行制御信号とを生成する。
【０１２９】
次に、本発明の実施の形態２に係る固体撮像装置２００の動作を説明する。
例えば、図１０に示すように、１２行×１２列の光電変換素子１１１に対し、左画像を撮像する第１撮像領域１１５と、右画像を撮像する第２撮像領域１１６とが、２行毎に交互に配置された場合の動作を説明する。また、図８（ｂ）に示すように左画像１７１ｂ及び右画像１７２ｂが垂直方向にずれている場合の動作を説明する。なお、図８（ｂ）において、左画像１７１ｂが、右画像１７２ｂより上側に２画素分ずれているとする。
【０１３０】
調整値算出部２１０は、左画像１７１ｂ及び右画像１７２ｂから、左画像に対する、右画像の垂直方向の画素のズレを示す値である調整値２２１を算出する。図８（ｂ）に示す例では、例えば、調整値２２１として「２」が算出される。調整値算出部２１０は、算出した調整値２２１を調整値保持部２２０に保持する。
【０１３１】
制御部２３０は、調整値保持部２２０が保持する調整値２２１の値「２」より、左画像を撮像する第１撮像領域１１５の行選択を行う第１垂直走査部２１１に、通常の行選択を開始する行（左画像の第１行）から行選択を開始させる第１行制御信号を出力する。また、制御部２３０は、右画像を撮像する第２撮像領域１１６の行選択を行う第２垂直走査部２１２に、通常の行選択を開始する行に補正値の値「２」を加算した行（右画像の第３行）から行選択を開始させる第２行制御信号を出力する。
【０１３２】
制御部２３０が出力する第１行制御信号及び第２行制御信号により、撮像領域２０１は、右画像の第３行の信号電荷に対応する映像信号を読出し、次に右画像の第４行の信号電荷に対応する映像信号を読出し、次に左画像の第１行の信号電荷に対応する映像信号を読出し、次に左画像の第２行の信号電荷に対応する映像信号を読み出す。信号処理部１２０は、読み出された右画像の第３行及び第４行と、左画像の第１行及び第２行とから、視差を算出する。なお、信号処理部１２０による視差の算出処理は、実施の形態１と同様であり、詳細な説明は省略する。
【０１３３】
以上の動作により、本発明の実施の形態２に係る固体撮像装置２００は、撮像領域２０１が出力する右画像及び左画像の垂直方向のズレを算出し、算出したズレに基づき、撮像領域２０１の行選択を開始する行を変更する。これにより、垂直方向のズレを補正した右画像及び左画像を出力することができる。よって、右画像と左画像とのエピポーラ性を向上させ、信号処理部１２０が算出する視差の精度を向上させることができる。
【０１３４】
なお、上記説明において、撮像領域２０１は、図１７に示すように第１垂直走査部２１１と第２垂直走査部２１２とを備えるとしたが、単一の垂直走査部が調整値２２１に応じて、出力する左画像及び右画像のズレがなくなるように、行を選択してもよい。
【０１３５】
また、上記説明において、制御部２３０が、調整値保持部２２０が保持する調整値２２１に応じた行から、撮像領域２０１の第１垂直走査部２１１の行選択を開始させる第１行制御信号と、第２垂直走査部２１２の行選択を開始させる第２行制御信号とを生成することで、ズレを補正するとしたが、信号処理部１２０においてズレの補正を行ってもよい。例えば、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像のうち一方の調整値２２１に応じた行と、映像信号保持部１２３が保持する右画像及び左画像のうち他方とから視差を算出してもよい。すなわち、距離情報算出部１２４は、右画像及び左画像に垂直方向のズレが生じている場合には、映像信号保持部１２３に保持されている右画像及び左画像を調整値２２１に応じて補正し、補正した右画像及び左画像に対して視差の算出を行う。なお、右画像及び左画像の補正は、距離情報算出部１２４が視差を算出する際に行ってもよいし、撮像領域１１０から出力される右画像及び左画像を補正し映像信号保持部１２３に保持してもよし、映像信号保持部１２３に保持されている右画像及び左画像に補正を行い映像信号保持部１２３が保持しているデータを更新してもよい。
【０１３６】
また、上記説明において、調整値算出部２１０が、調整値２２１を算出するとしたが、調整値２２１は、外部から入力されてもよい。例えば、出荷時等に、外部の装置が、固体撮像装置２００から出力された映像信号から調整値２２１を算出し、算出した調整値２２１を固体撮像装置２００に入力し、調整値保持部２２０に保持してもよい。なお、外部から調整値２２１を入力する場合には、固体撮像装置２００は、調整値算出部２１０を備えなくともよい。
【０１３７】
また、上記実施の形態１及び２における説明では、本発明を車両に搭載された近赤外光を用いた暗視機能を有するカメラに適用した実施例について説明したが、車両に搭載された近赤外光を用いた暗視機能を有するカメラ以外にも、撮像被写体までの距離情報を出力するカメラとして適用することができる。例えば、本発明に係る固体撮像装置は、監視装置に用いられるカメラ及びＴＶ電話のカメラ等に適用することができる。
【０１３８】
また、上記実施の形態１及び２における説明では、固体撮像装置は、近赤外光を照射する光源１４０を備えるとしたが、光源１４０は、近赤外光以外の光を照射してもよい。例えば、光源１４０は、可視光を照射してもよい。この場合、上述した第１の周波数帯域及び第２の周波数帯域は、可視光内の、互いに重複しない異なる周波数帯域であればよい。さらに、暗視機能を必要としない場合には、固体撮像装置は、光源１４０を備えなくともよい。
【産業上の利用可能性】
【０１３９】
本発明は、固体撮像装置に適用でき、特に、車載用のカメラ、監視カメラ及びＴＶ電話のカメラ等に適用できる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る固体撮像装置の撮像領域及び信号処理部の構成を示す図である。
【図３】本発明の実施の形態１に係る固体撮像装置の撮像領域の断面構造を模式的に示す図である。
【図４】本発明の実施の形態１に係る固体撮像装置のフィルタ１５７を上面から見た構成を模式的に示す図である。
【図５】本発明の実施の形態１に係る固体撮像装置のフィルタの断面構造を模して気的に示す図である。
【図６】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図７】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図８】本発明の実施の形態１に係る固体撮像装置の撮像領域が出力する映像信号の一例を示す図である。
【図９】本発明の実施の形態１に係る固体撮像装置の信号処理部の処理を説明するための図である。
【図１０】本発明の実施の形態１に係る固体撮像装置の左画像及び右画像の光電変換に用いられる光電変換素子の配置の一例を示す図である。
【図１１】本発明の実施の形態１に係る固体撮像装置の信号処理部による距離情報の算出の処理の流れを示すフローチャートである。
【図１２】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１３】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１４】本発明の実施の形態１に係る固体撮像装置の距離情報算出部の距離情報の算出処理において距離情報保持部に保持されるデータの一例を示す図である。
【図１５】本発明の実施の形態１に係る固体撮像装置の撮像領域及び信号処理部の変形例の構成を示す図である。
【図１６】本発明の実施の形態２に係る固体撮像装置の構成を示す図である。
【図１７】本発明の実施の形態２に係る固体撮像装置の撮像領域及び信号処理部の構成を示す図である。
【図１８】従来の固体撮像装置の構成を示す図である。
【符号の説明】
【０１４１】
１００、２００、１０００ 固体撮像装置
１１０、２０１ 撮像領域
１１１ 光電変換素子
１１２ 垂直走査部
１１３ 水平走査部
１１４、１１７ Ａ／Ｄ変換部
１１５ 第１撮像領域
１１６ 第２撮像領域
１２０ 信号処理部
１２１ 映像信号
１２２ 距離情報
１２３ 映像信号保持部
１２４ 距離情報算出部
１２５ 距離情報保持部
１３０、２３０ 制御部
１４０ 光源
１５０、１５１ レンズ
１５２、１５３、１５７ フィルタ
１５４、１５５ ミラー
１５６ ダイクロックミラー
１５８ 第１のフィルタ
１５９ 第２のフィルタ
１６０ 被写体
１６１、１６６ 上部反射層
１６２、１６７ スペーサ層
１６３、１６８ 下部反射層
１６４ ＴｉＯ2層
１６５ ＳｉＯ2層
１７１ａ、１７１ｂ 左画像
１７２ａ、１７２ｂ 右画像
２１０ 調整値算出部
２１１ 第１垂直走査部
２１２ 第２垂直走査部
２２０ 調整値保持部
２２１ 調整値
１００１、１００２ カメラ
【技術分野】
【０００１】
本発明は、固体撮像装置、カメラ、車両及び監視装置に関し、特に、独立した複数の光入射経路から入射した光を撮像し、複数の映像信号を出力する固体撮像装置に関する。
【背景技術】
【０００２】
立体映像の撮像、又は、被写体までの距離に関する情報（以下、「距離情報」と記す。）を伴った映像情報を得るために、２つの撮像領域を備えるカメラが用いられている。距離情報を伴う映像情報を出力するカメラは、車載用カメラとして用いることで、前方の障害の大きさ及び距離の検知し、ドライバに警告を発することができる。さらに、障害物の検知にともない、自動的にエンジン、ブレーキ及びステアリング等を制御することで、障害物への衝突を回避することができる。さらに、車内に設けたカメラにより、乗員の大きさ（大人又は子供等）、及び乗員の頭部の位置等を検知し、エアバックのＯｐｅｎスピード及び圧力等を制御することができる。
【０００３】
また、距離情報を伴う映像情報を出力するカメラは、監視カメラ及びＴＶ電話等のカメラとして用いた場合には、所定の距離内の被写体のみを撮像及び表示することで、映像情報のデータ量の削減及び視認性の向上を実現することができる。
【０００４】
従来の立体映像の撮像を行うカメラとしては、２台のカメラを備えるステレオカメラが知られている。
【０００５】
図１８は、従来の立体映像を撮像する固体撮像装置の構成を示す図である。
図１８に示す固体撮像装置１０００は、ステレオカメラであり、カメラ１００１及び１００２を備える。カメラ１００１及び１００２は所定の距離を隔てて設置される。カメラ１００１及び１００２が撮像した映像信号より、立体映像が生成される。
【０００６】
図１８に示す従来の固体撮像装置１０００は、２台のカメラ１００１及び１００２を用いるため、カメラ１００１及び１００２における製造ばらつき等の影響により、十分なエピポーラ性を保てない（２台のカメラが撮像した映像信号に位置的なズレが生じる）という問題と、２台のカメラ１００１及び１００２の撮像特性が同一ではないという問題と、２台のカメラから出力される信号の出力タイミングに時間的遅延が生じるという問題とにより、距離情報を算出するために多大な調整工数及び信号処理工程を必要とする。
【０００７】
上記問題に対して、１チップのＬＳＩ（Large Scale Integration）として、２つの撮像領域を備えるステレオカメラが知られている（例えば、特許文献１参照。）。
【０００８】
特許文献１記載のステレオカメラは、被写体を撮像する２つの撮像領域を１チップ化することにより、２つの撮像領域の製造ばらつきの影響を低減することができる。
【特許文献１】特開平９−７４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ステレオカメラ等の立体映像の撮像、又は、距離情報を伴った映像情報を出力するカメラにおいては、より高いエピポーラ性（２つの撮像領域が撮像した映像信号のばらつきが少ない状態）と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することが好ましい。
【００１０】
そこで、本発明は、高いエピポーラ性と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子を備える撮像部と、第１の周波数帯域の光を集光する第１集光部と、前記第１集光部と離間して設けられ、前記第１の周波数帯域と異なる第２の周波数帯域の光を集光する第２集光部と、前記第１集光部が集光した光及び前記第２集光部が集光した光を前記撮像部に入射する光入射部と、前記複数の光電変換素子に含まれる複数の第１光電変換素子上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタと、前記複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える。
【００１２】
この構成によれば、本発明に係る固体撮像装置は、離間して設けられた第１集光部及び第２集光部で集光された光を単一の撮像部で光電変換し、２つの映像信号を出力することができる。これにより、２つの映像信号を出力する撮像部の位置が物理的に近いので、出力する２つの映像信号のばらつきを低減することができる。すなわち、出力する２つの映像信号のエピポーラ性と、撮像特性の同一性と、信号出力タイミングの同期性とを向上させることができる。さらに、第１集光部により集光された第１の周波数帯域の光は、第２のフィルタにより遮断されるので、第２光電変換素子には照射されない。よって、第２光電変換素子に対する第１の周波数帯域の光の干渉を低減することができる。また、第２集光部により集光された第２の周波数帯域の光は、第１のフィルタにより遮断されるので、第１光電変換素子には照射されない。よって、第１光電変換素子に対する第２の周波数帯域の光の干渉を低減することができる。これにより、離間して設けられた第１集光部及び第２集光部で集光された光を、単一の撮像部で容易に撮像することができる。さらに、視差方向のチップ長を抑えることができ、視差方向に対する垂直方向の領域が少なくてよい場合（垂直方向の解像度が低くてもよい場合）には、２つの撮像領域を隣接するよう配置したときよりもチップの縦横比を１に近づけることができる。これにより、反りなどの影響が低減される。また、円形のウェハーからの取れ数も改善される。
【００１３】
また、前記固体撮像装置は、さらに、前記複数の第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記複数の第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段を備えてもよい。
【００１４】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、被写体までの距離の情報とを外部に出力することができる。
【００１５】
また、前記算出手段は、前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、前記視差算出手段が算出した前記視差を保持する第２保持手段とを備えてもよい。
【００１６】
この構成によれば、本発明に係る固体撮像装置は、第１映像信号及び第２映像信号と、視差とを外部に出力することができる。
【００１７】
また、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力してもよい。
【００１８】
この構成によれば、映像信号のｍ行×ｎ列毎に対する視差を算出することができる。
また、前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出してもよい。
【００１９】
この構成によれば、外部から視差算出を行うブロック単位（ｍ１行×ｎ１列）を任意に設定することができる。
【００２０】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置されてもよい。
【００２１】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数を多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。
【００２２】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記第１光電変換素子と前記第２光電変換素子とは、１以上の行毎に交互に配置されてもよい。
【００２３】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数が多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。さらに、互いに対応する第１光電変換素子と第２光電変換素子との配置位置を近くすることができるので、第１映像信号と第２映像信号のばらつきを低減することができる。
【００２４】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置され、前記第１光電変換素子と前記第２光電変換素子とは、ｍ行毎に交互に配置されてもよい。
【００２５】
この構成によれば、限られたチップサイズのなかで、第１光電変換素子及び第２光電変換素子の行方向の配置数が多くすることができる。すなわち、第１映像信号及び第２映像信号の視差方向（行方向）の解像度を増加させることができる。よって、算出される視差の精度を向上させることができる。さらに、互いに対応する第１光電変換素子と第２光電変換素子との配置位置を近くすることができるので、第１映像信号と第２映像信号のばらつきを低減することができる。さらに、視差算出手段で行われる視差算出処理の行の単位（ｍ行）と同じ行毎に交互に、第１光電変換素子と第２光電変換素子とが配置される。これにより、行列状に配置される複数の光電変換素子の行を順次インクリメントしながら、映像信号を出力する場合でも、出力された第１映像信号及び第２映像信号から視差を順次算出することができる。すなわち、視差算出手段による視差算出の処理を効率よく、かつ高速に行うことができる。さらに、最小で、第１保持手段及び第２保持手段にそれぞれｍ行の第１映像信号、第２映像信号及び視差を保持すればよいので、第１保持手段及び第２保持手段の記憶容量を削減することができる。
【００２６】
また、前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、前記固体撮像装置は、さらに、前記第１映像信号の画像と、前記第２映像信号の画像との列方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち一方の前記ズレ値に応じた行と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち他方とから視差を算出してもよい。
【００２７】
この構成によれば、ズレ値保持手段が保持するズレ値に応じて、視差算出手段は、撮像部が出力する第１映像信号と第２映像信号との列方向のズレを補正することができる。よって、第１映像信号と第２撮像信号とのエピポーラ性を向上させることができる。
【００２８】
また、前記撮像部は、前記第１光電変換素子の行を選択する第１行選択手段と、前記第２光電変換素子の行を選択する第２行選択手段とを備え、前記出力手段は、前記第１行選択手段により行選択された前記第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第１映像信号として出力し、前記第２行選択手段により選択された前記第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第２映像信号として出力し、前記固体撮像装置は、さらに、前記ズレ値保持手段が保持する前記ズレ値に応じた行から前記第１行選択手段又は前記第２行選択手段による行の選択を開始させる行制御手段を備えてもよい。
【００２９】
この構成によれば、行制御手段による第１行選択手段又は第２行選択手段が行選択を開始する行を変更するだけの容易な制御で、第１映像信号と第２映像信号との列方向のズレを補正することができる。
【００３０】
また、前記固体撮像装置は、さらに、前記第１映像信号及び前記第２映像信号から、前記ズレ値を算出するズレ値算出手段を備え、前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持してもよい。
【００３１】
この構成によれば、製品出荷後の、任意のタイミング（電源投入時、所定の時間毎、又は外部操作に応じたタイミング等）で、ズレ値を算出し、算出したズレ値に応じた補正を行うことができる。これにより、設置環境等による動作条件の変化、及び経時変化等により特性（ズレ値）が変化した場合にも、最適な補正を行うことができる。
【００３２】
また、前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備えてもよい。
【００３３】
この構成によれば、各行の光電変換素子に蓄積された信号電荷を同時にデジタル信号に変換し（Ａ／Ｄ変換し）、出力することができる。よって、映像信号の読出しを高速に行うことができる。
【００３４】
また、前記第１保持手段は、少なくともｍ行の前記第１映像信号及び前記第２映像信号を保持してもよい。
【００３５】
この構成によれば、第１保持手段及び第２保持手段の記憶容量を削減することができる。これにより、固体撮像装置の小型化及びコスト低減を行うことができる。
【００３６】
また、前記第１保持手段は、少なくとも２×ｍ行の前記第１映像信号及び前記第２映像信号を保持し、前記第２保持手段は、ｍ行単位の少なくとも２×ｍ行の前記視差算出手段が算出した前記視差を保持し、前記視差算出手段は、前記２×ｍ行のうち一方のｍ行の前記第１映像信号及び前記第２映像信号と、該ｍ行の第１映像信号及び第２映像信号に対応するｍ行の視差とが出力されている間に、前記２×ｍ行のうち他方のｍ行の前記第１映像信号及び前記第２映像信号から、ｍ行の視差を算出してもよい。
【００３７】
この構成によれば、第１保持手段及び第２保持手段の記憶容量を削減することができる。これにより、固体撮像装置の小型化及びコスト低減を行うことができる。さらに、一方のｍ行の視差を算出している間に、他方のｍ行の映像信号（第１映像信号及び第２映像信号）と距離情報とを出力することができる。これにより、フレームレートを高めることができる。
【００３８】
また、前記算出手段は、さらに、前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備えてもよい。
【００３９】
この構成によれば、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【００４０】
また、前記第１のフィルタ及び前記第２のフィルタは、誘電体で構成される第１誘電体層及び第２誘電体層と、前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なってもよい。
【００４１】
この構成によれば、第１のフィルタ及び第２のフィルタに、耐光性及び耐熱性に優れた多層膜干渉フィルタが用いられる。これにより、無機材料のみを用いてフィルタを構成することができる。フィルタを無機材料のみで構成することで、高温及び高照射下で使用しても退色現象を生じない。よって、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００４２】
また、前記固体撮像装置は、さらに、前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備えてもよい。
【００４３】
この構成によれば、光源が被写体に照射した光の反射光を撮像部で受光することができる。これにより、夜間及び暗所での撮像を行うことができる。
【００４４】
また、前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれてもよい。
この構成によれば、近赤外領域の光を用いて、被写体の撮像を行うことができる。これにより、車載カメラ等として本発明の固体撮像装置を用いた場合に、視認性の向上と、対向車両及び歩行者に対する眩惑の防止とを実現することができる。
【００４５】
また、本発明に係るカメラは、前記固体撮像装置を備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを実現することができる。
【００４６】
また、本発明に係る車両は、前記カメラを備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを備える車両を実現することができる。
【００４７】
また、本発明に係る監視装置は、前記カメラを備える。
この構成によれば、撮像部が出力する第１映像信号と第２映像信号とのエピポーラ性が向上することにより、撮像部が出力する第１映像信号及び第２映像信号から、撮像した被写体への距離を容易かつ高精度に算出することができる。よって、高精度の距離情報を算出できるカメラを備える監視装置を実現することができる。
【発明の効果】
【００４８】
本発明は、高いエピポーラ性と、２つのカメラの撮像特性の同一性と、信号出力タイミングの同期性とを実現することができる固体撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
【００５０】
（実施の形態１）
本発明の実施の形態１に係る固体撮像装置は、単一の撮像領域で撮像した２つの映像信号から、被写体までの距離の情報を算出する。これにより、個別の撮像領域で撮像した２つの映像信号を用いる場合に比べ、２つの映像信号の位置的なばらつきを低減することができる。よって、２つの映像信号のエピポーラ性を向上させることができる。
【００５１】
まず、本実施の形態に係る固体撮像装置の構成を説明する。
図１は、本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【００５２】
図１に示す固体撮像装置１００は、撮像の被写体１６０の映像情報及び距離情報を出力する。固体撮像装置１００は、例えば、車両に搭載された近赤外領域の光（以下、「近赤外光」と記す。）を用いた暗視機能を有するカメラである。固体撮像装置１００は、撮像領域１１０と、信号処理部１２０と、制御部１３０と、光源１４０と、レンズ１５０及び１５１とを備える。
【００５３】
光源１４０は、近赤外光（波長７００ｎｍ〜１１００ｎｍ）を被写体１６０に照射する。光源１４０は、例えば、ＬＥＤ（発光ダイオード）又は半導体レーザで構成される。
【００５４】
レンズ１５０及び１５１は、被写体１６０からの反射光を撮像領域１１０に集光する。レンズ１５１は、レンズ１５０と水平方向に離間して設けられる。
【００５５】
撮像領域１１０は、ＣＭＯＳイメージセンサであり、入射光に応じた映像信号を出力する。撮像領域１１０被写体１６０からの反射光を電気信号に変換し、変換した電気信号を２つの映像信号（左画像及び右画像）として出力する。具体的には、撮像領域１１０は、レンズ１５０で集光された光を電気信号に変換し、変換した電気信号を左画像として出力する。撮像領域１１０は、レンズ１５１で集光された光を電気信号に変換し、変換した電気信号を右画像として出力する。
【００５６】
図２は、撮像領域１１０及び信号処理部１２０の構成を示す図である。撮像領域１１０は、複数の光電変換素子１１１と、垂直走査部１１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。
【００５７】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５又は第２撮像領域１１６に含まれる。例えば、第１撮像領域１１５に含まれる光電変換素子１１１と、第２撮像領域１１６に含まれる光電変換素子１１１とは、同数である。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。なお、行列状に配置される複数の光電変換素子１１１の行方向は水平方向に対応し、列方向は垂直方向に対応する。
【００５８】
垂直走査部１１２は、複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【００５９】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【００６０】
Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。すなわち、Ａ／Ｄ変換部１１４は、光電変換素子１１１に蓄積された信号電荷に基づくアナログ信号を、デジタル信号に変換し映像信号として出力する。また、Ａ／Ｄ変換部１１４が出力する映像信号は、第１撮像領域１１５に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した左画像に対応する映像信号と、第２撮像領域１１６に含まれる光電変換素子１１１に蓄積された信号電荷を電圧又は電流に変換した右画像に対応する映像信号とが含まれる。
【００６１】
制御部１３０は、撮像領域１１０及び信号処理部１２０を制御する。具体的には、制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。電荷蓄積制御信号は、複数の光電変換素子１１１の電荷蓄積時間（露光時間）を制御するための信号である。
【００６２】
信号処理部１２０は、被写体までの距離情報を、撮像領域１１０が出力する左画像と右画像とから算出し、映像信号１２１及び距離情報１２２を外部に出力する。信号処理部１２０は、映像信号保持部１２３と、距離情報算出部１２４と、距離情報保持部１２５とを備える。
【００６３】
映像信号保持部１２３は、撮像領域１１０が出力する映像信号である左画像及び右画像を保持する。また、映像信号保持部１２３は、保持する映像信号１２１を外部に出力する。
【００６４】
距離情報算出部１２４は、映像信号保持部１２３が保持する左画像及び右画像から、被写体までの距離情報である視差を算出する。
【００６５】
距離情報保持部１２５は、距離情報算出部１２４が算出した距離情報（視差）を保持する。また、距離情報保持部１２５は、保持する距離情報１２２を外部に出力する。
【００６６】
図３は、撮像領域１１０の断面構造を模式的に示す図である。図３に示すように、固体撮像装置１００は、さらに、フィルタ１５２、１５３及び１５７と。ミラー１５４及び１５５と、ダイクロックミラー１５６とを備える。フィルタ１５２、１５３及び１５７は、例えば、多層膜干渉フィルタである。
【００６７】
被写体１６０からの反射光は、フィルタ１５２、レンズ１５０、ミラー１５４、ダイクロックミラー１５６及びフィルタ１５７からなる光入射経路により、撮像領域１１０に入射される。また、被写体１６０からの反射光は、フィルタ１５３、レンズ１５１、ミラー１５５、ダイクロックミラー１５６及びフィルタ１５７からなる光入射経路により、撮像領域１１０に入射される。
【００６８】
フィルタ１５２は、レンズ１５０の上部に形成され、第１の周波数帯域の光のみを透過する。フィルタ１５３は、レンズ１５１の上部に形成され、第１の周波数帯域と異なる第２の周波数帯域の光のみを透過する。ミラー１５４は、レンズ１５０が集光した光をダイクロックミラー１５６に反射する。ミラー１５５は、レンズ１５１が集光した光をダイクロックミラー１５６に反射する。ダイクロックミラー１５６は、ミラー１５４及びミラー１５５からの光を撮像領域１１０に反射する。すなわち、フィルタ１５２及びレンズ１５０により、第１の周波数帯域の光が集光される。フィルタ１５３及びレンズ１５１により、第２の周波数帯域の光が集光される。ミラー１５４、１５５及びダイクロックミラー１５６により、集光された第１の周波数帯域の光及び第２の周波数帯域の光が撮像領域１１０に入射される。フィルタ１５７は、撮像領域１１０上に形成される。ここで、第１の周波数帯域及び第２の周波数帯域は、近赤外領域（波長７００ｎｍ〜１１００ｎｍ）内の、互いに重複しない異なる周波数帯域である。例えば、第１の周波数帯域は、波長７５０ｎｍ〜８５０ｎｍの周波数帯域であり、第２の周波数帯域は、波長９５０ｎｍ〜１０５０ｎｍの周波数帯域である。
【００６９】
図４は、フィルタ１５７を上面から見た構成を模式的に示す図である。フィルタ１５７は、第１の周波数帯域の光のみを透過する第１のフィルタ１５８と、第２の周波数帯域の光のみを透過する第２のフィルタ１５９とを含む。第１のフィルタ１５８は、第１撮像領域１１５に含まれる光電変換素子１１１上に形成される。第２のフィルタ１５９は、第２撮像領域１１６に含まれる光電変換素子１１１上に形成される。例えば、図４（ａ）に示すように、第１のフィルタ１５８と第２のフィルタ１５９とは、行列状に配置された複数の光電変換素子１１１が形成される領域を列方向（垂直方向）に分割するように配置される。具体的には、第１のフィルタ１５８は、行列状に配置される複数の光電変換素子１１１のうち上半分の行（６×６画素の場合は、上方向の３行）の光電変換素子１１１上に形成される。また、第２のフィルタ１５９は、行列状に配置される複数の光電変換素子１１１のうち下半分の行（６×６画素の場合は、下方向の３行）の光電変換素子１１１上に形成される。
【００７０】
図５は、フィルタ１５２の断面構造を模式的に示す図である。なお、フィルタ１５３及び１５７の断面構造も図５と同様である。
【００７１】
図５（ａ）に示すフィルタ１５２は、上部反射層１６１と、スペーサ層１６２と、下部反射層１６３とを備える。スペーサ層１６２は下部反射層１６３上に積層され、上部反射層１６１は、スペーサ層１６２上に積層される。
【００７２】
上部反射層１６１及び下部反射層１６３は、３層の高屈折率材料で構成される層１６４と、３層の低屈折率材料で構成される層１６５とを、交互に積層した構造である。高屈折率材料で構成される層１６４は、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。低屈折率材料で構成される層１６５は、例えば、酸化シリコンＳｉＯ2（屈折率１．４５）で構成される。スペーサ層１６２は、高屈折率材料で構成され、例えば、酸化チタンＴｉＯ2（屈折率２．５）で構成される。また、フィルタ１５２は、スペーサ層１６２を中心にして、光学膜厚λ／４（λ：設定中心波長）の多層膜構造の上部反射層１６１及び下部反射層１６３が対称となるように配置される。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層１６２の膜厚を変化させることによって、その透過ピーク波長を変化させることができる。
【００７３】
図６は、図５（ａ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。なお、透過率の計算には誘電体多層膜干渉フィルタにおいて広く知られている特性マトリクス法を用いた。図６に示すように、例えば、ＴｉＯ2層１６４を９０ｎｍとし、ＳｉＯ2層１６５を１５５ｎｍとすることで、実線１７４で示す特性の設定中心波長９００ｎｍの多層膜干渉フィルタを構成することができる。また、ＴｉＯ2層１６４を９９ｎｍとし、ＳｉＯ2層１６５を１７１ｎｍとすることで、破線１７５で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。ここで、スペーサ層１６２は、光学膜厚をλ／２としている。また、図６に示すように、図５（ａ）に示すフィルタ１５２は、短波長帯（波長８００ｎｍ以下）の光を透過する特性を有するが、短波長カット光学フィルタ（例えば朝日分光（株）ＬＩＯ８４０等：図６の二点鎖線１７６）を併用することで、波長９００ｎｍ又は１０００ｎｍの光のみを透過することができる。
【００７４】
なお、フィルタ１５２の構成は、図５（ｂ）に示すように、所定の膜厚及び層数のＴｉＯ2層とＳｉＯ2層とを積層した、上部反射層１６６と、スペーサ層１６７と、下部反射層１６８とを構成してもよい。
【００７５】
図７は、図５（ｂ）に示すフィルタ１５２の光の波長に対する光の透過率の計算結果を示す図である。図７に示すように、上部反射層１６６と、スペーサ層１６７と、下部反射層１６８との膜厚及び層数を最適化することにより、実線１７７で示す特性の設定中心波長８００ｎｍの多層膜干渉フィルタ及び破線１７８で示す設定中心波長１０００ｎｍの多層膜干渉フィルタを構成することができる。
【００７６】
なお、高屈折率材料で構成される層１６４は、酸化チタンＴｉＯ2で構成されるとしたが、窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ2Ｏ5）、又は酸化ジルコニウム（ＺｒＯ2）等で構成してもよい。また、低屈折率材料で構成される層１６５は、酸化シリコンＳｉＯ2で構成されるとしたが用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンＳｉＯ2以外の材料を用いてもよい。
【００７７】
また、上述した設定中心波長、スペーサ層の膜厚、ペア数は１例であり、所望の分光特性に合わせて設定すればよい。
【００７８】
このように、誘電体多層膜干渉フィルタを用いることで、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように固体撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がない。よって、プロセスの安定化、及び生産性向上に伴う低コスト化を実現することができる。
【００７９】
さらに、誘電体多層膜干渉フィルタを用いることにより、無機材料のみを用いてフィルタを構成することができる。これにより、高温及び高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
【００８０】
次に、本実施の形態に係る固体撮像装置１００の動作を説明する。
光源１４０から照射された近赤外光は、被写体１６０で反射される。被写体１６０で反射した反射光は、フィルタ１５２により第１の周波数帯域の光のみが透過し、レンズ１５０で集光され、ミラー１５４で反射され、ダイクロックミラー１５６で反射され、フィルタ１５７を介して撮像領域１１０に照射される。撮像領域１１０に照射される第１の周波数帯域の光は、第１のフィルタ１５８を透過し、第１撮像領域１１５の光電変換素子１１１に入射する。また、被写体１６０で反射した反射光は、フィルタ１５３により第２の周波数帯域の光のみが透過し、レンズ１５１で集光され、ミラー１５５で反射され、ダイクロックミラー１５６で反射され、フィルタ１５７を介して撮像領域１１０に照射される。撮像領域１１０に照射される第２の周波数帯域の光は、第２のフィルタ１５９を透過し、第２撮像領域１１６の光電変換素子１１１に入射する。このように、撮像領域１１０上に第１のフィルタ１５８及び第２のフィルタ１５９を含むフィルタ１５７を備えることにより、フィルタ１５２を介してレンズ１５０で集光された第１の周波数帯域の光は、第２のフィルタ１５９で遮断されるので第２撮像領域１１６には入射せず第１撮像領域１１５にのみ入射する。また、フィルタ１５３を介してレンズ１５１で集光された第２の周波数帯域の光は、第１のフィルタ１５８で遮断されるので第１撮像領域１１５には入射せず第２撮像領域１１６にのみ入射する。すなわち、本発明の実施の形態１に係る固体撮像装置１００は、第１撮像領域１１５及び第２撮像領域１１６に入射する光の干渉を防止することができる。また、フィルタ１５２、１５３及び１５７を備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。これにより、単一のＣＭＯＳイメージセンサで、２つのレンズから入射した光を互いに干渉させることなく容易に撮像することができる。
【００８１】
第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された第１の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された第２の周波数帯域の光の入射光量に応じた信号電荷を蓄積する。制御部１３０は、垂直走査部１１２の行の選択を開始させる垂直同期信号と、水平走査部１１３の列の選択を開始させる水平同期信号と、垂直走査部１１２の駆動タイミングを制御する電荷蓄積制御信号とを生成する。垂直走査部１１２は、制御部１３０からの垂直同期信号により、行列状に配置された光電変換素子１１１の行を順次選択する。水平走査部１１３は、制御部１３０からの水平同期信号により、行列状に配置された光電変換素子１１１の列を順次選択する。Ａ／Ｄ変換部１１４は、垂直走査部１１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を順次デジタル信号に変換し、デジタル化した映像信号を出力する。
【００８２】
このように、本発明の実施の形態１に係る固体撮像装置１００は、単一のＣＭＯＳイメージセンサで撮像した２つの映像信号（左画像及び右画像）を出力する。これにより、異なるＣＭＯＳイメージセンサで撮像した映像信号に比べて、ばらつきを低減し、エピポーラ性と、撮像特性の同一性と、信号出力タイミングの同期性とを向上させることができる。ここで、エピポーラ性が高いとは、２つの映像信号の垂直方向の位置的なずれ（差分）が少ないことを意味する。
【００８３】
図８は、撮像領域１１０が出力する映像信号の画像の一例を示す図である。図８において、画像１７１ａ及び１７１ｂは、第１撮像領域１１５で撮像された左画像であり、画像１７２ａ及び１７２ｂは、第２撮像領域１１６で撮像された右画像である。例えば、被写体１６０を撮像した場合、撮像領域１１０は、図８（ａ）に示す画像１７１ａ及び１７２ａを出力する。
【００８４】
映像信号保持部１２３は、撮像領域１１０が出力した左画像の映像信号及び右画像の映像信号を保持する。距離情報算出部１２４は、映像信号保持部１２３が保持する左画像の映像信号及び右画像の映像信号から、被写体１６０の距離情報を算出する。
【００８５】
図９は、図８（ａ）に示す画像に対する距離情報算出部１２４の処理を説明するための図である。距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａから被写体１６０の視差ｄを算出する。視差ｄは、左画像１７１ａと、右画像１７２ａにおける被写体１６０の水平方向のズレ（差分）である。例えば、距離情報算出部１２４は、左画像１７１ａと、右画像１７２ａの各行のデータを比較し、一致するか否かを判定する。次に、右画像１７２ａの各行のデータを右側にシフトさせ、シフトさせたデータが左画像１７１ａと一致するか否かを判定する。右画像１７２ａの各行のデータを右側にシフトする動作及び左画像１７１ａと一致を判定する処理を繰り返す。信号処理部１２０は、各行の左画像１７１ａと右画像１７２ａがもっとも類似したときの右画像１７２ａのシフト数を視差ｄとして算出する。具体的には、距離情報算出部１２４は、映像信号保持部１２３が保持する左画像のｍ行（ｍ：１以上の整数）の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返す。距離情報算出部１２４は、所定の回数の処理毎に、ずらしたｍ行の左画像と、映像信号保持部１２３が保持する右画像のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する。距離情報算出部１２４は、所定の回数の処理毎に、算出した差分の絶対値、ｎ列（ｎ：１以上の整数）毎の和を算出する。距離情報算出部１２４は、所定の回数の前記処理毎に、算出した和が、距離情報保持部１２５が保持している和より小さい場合に、算出した和と、ずらし処理が実行された回数とを距離情報保持部１２５に保持する。距離情報保持部１２５は、距離情報算出部１２４による所定の回数のずらし処理が終了した後に、保持する処理が実行された回数を、視差として外部に出力する。例えば、距離情報算出部１２４のずらし処理によるずらし量（通常１画素）をｎ画素とし、ずらし処理が実行された回数をＮ回とし、画素ピッチをＰｘとした場合には、視差ＺはＺ＝ｎ×Ｎ×Ｐｘで算出される。なお、距離情報算出部１２４のずらし処理によるずらし量は、外部からの入力により設定されてもよい。これにより、任意のずらし量を設定し、視差の精度及び処理時間を任意に設定することができる。
【００８６】
以下に、信号処理部１２０の具体的な動作を説明する。
図１０は、撮像領域１１０の左画像及び右画像の光電変換に用いられる光電変換素子１１１の配置の一例を示す図である。図１０に示すように、１２行×１２列の光電変換素子１１１に対し、左画像を撮像する第１撮像領域１１５と、右画像を撮像する第２撮像領域１１６とが、２行毎に交互に配置された場合の信号処理部１２０の動作を説明する。図１０に示すように、複数の光電変換素子１１１の第１行及び第２行が、第２撮像領域１１６の第１行及び第２行に対応し、複数の光電変換素子１１１の第３行及び第４行が、第１撮像領域１１５の第１行及び第２行に対応し、複数の光電変換素子１１１の第５行及び第６行が、第２撮像領域１１６の第３行及び第４行に対応し、複数の光電変換素子１１１の第７行及び第８行が、第１撮像領域１１５の第３行及び第４行に対応し、複数の光電変換素子１１１の第９行及び第１０行が、第２撮像領域１１６の第５行及び第６行に対応し、複数の光電変換素子１１１の第１１行及び第１２行が、第１撮像領域１１５の第５行及び第６行に対応する。
【００８７】
まず、Ａ／Ｄ変換部１１４は、右画像の第１行（複数の光電変換素子１１１の第１行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、右画像の第２行（複数の光電変換素子１１１の第２行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、左画像の第１行（複数の光電変換素子１１１の第３行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。次に、Ａ／Ｄ変換部１１４は、右画像の第２行（複数の光電変換素子１１１の第４行）に対応する光電変換素子１１１の蓄積電荷をＡ／Ｄ変換し、映像信号保持部１２３に保持する。
【００８８】
次に、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像の第１行及び第２行の映像信号から、視差を算出する。
【００８９】
図１１は、信号処理部１２０による視差の算出の処理の流れを示すフローチャートである。図１２及び図１３は、距離情報算出部１２４による、視差の算出処理を説明するための図である。図１２（ａ）に示すような右画像及び左画像の映像信号が読み出され、映像信号保持部１２３に保持された場合について説明する。なお、図中の枠内の数値は、映像信号の信号レベルを示し、例えば、入射光の輝度に対応した値である。
【００９０】
距離情報算出部１２４は、例えば、２行の映像信号の１２列の映像信号を４列毎の３つの領域Ａ、Ｂ及びＣに分割し、それぞれの領域に対して、視差を算出する。すなわち、距離情報算出部１２４は、２行×４列の画素毎に視差を算出する。まず、距離情報算出部１２４は、図１３（ａ）に示すように、左画像の各画素の信号レベル３０１と、右画像の各画素の信号レベル３０２の差分の絶対値３０３を算出する（Ｓ１０１）。次に、距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０２）。例えば、図１３（ａ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「６」、「１４」及び「１４」が算出される。距離情報算出部１２４は、算出した合計値３０４を距離情報保持部１２５に保持する（Ｓ１０３）。
【００９１】
図１４は、信号処理部１２０の視差の算出処理において、距離情報保持部１２５に保持されるデータの一例を示す図である。距離情報算出部１２４により、図１３（ａ）に示す合計値３０４が算出された場合、距離情報保持部１２５に、図１４（ａ）に示すクロック数３１１として「０」が保持され、各領域Ａ、Ｂ及びＣの合計値３０４の最小値３１２として「６」、「１４」及び「１４」が保持される。ここで、クロック数３１１は、左画像のシフト動作が行われた回数に対応する。
【００９２】
次に、距離情報算出部１２４は、図１２（ｂ）に示すように、左画像を左方向（又は右画像を右方向）に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｂ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「２０」及び「２０」が算出される。
【００９３】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ａ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「８」、「２０」及び「２０」は、距離情報保持部１２５に保持される各領域の合計値「６」、「１４」及び「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持されるクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ａ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される（図１４（ｂ））。
【００９４】
次に、距離情報算出部１２４は、所定の回数のシフト動作が行われたか否かを判定する。なお、ここでは、所定の回数が「４」の場合について説明する。シフト回数は「１」であり所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｃ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｃ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「０」、「１４」及び「２０」が算出される。
【００９５】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ｂ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「０」は、距離情報保持部１２５に保持される領域Ａの合計値「６」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１を、現在のクロック数（シフト回数）「２」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。また、算出した領域Ｂの合計値「１４」は、距離情報保持部１２５に保持される領域Ｂの合計値「１４」と等しく、算出した領域Ｃの合計値「２０」は、距離情報保持部１２５に保持される領域Ｃの合計値「１４」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ｃ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。なお、距離情報算出部１２４が算出した合計値３０４と、距離情報保持部１２５に保持される合計値の最小値３１２が等しい場合に、距離情報保持部１２５に保持されるクロック数３１１を更新してもよい。
【００９６】
シフト回数は「２」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｄ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｄ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「８」、「０」及び「０」が算出される。
【００９７】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値の最小値３１２（図１４（ｃ））と、算出した合計値３０４とを比較する。算出した領域Ａの合計値「８」は、距離情報保持部１２５に保持される領域Ａの合計値「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ａのクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。また、算出した領域Ｂ及びＣの合計値「０」及び「０」は、距離情報保持部１２５に保持される領域Ｂ及びＣの合計値「１４」及び「１４」より小さいので（Ｓ１０７でＹｅｓ）、距離情報算出部１２４は、距離情報保持部１２５に保持される領域Ｂ及びＣのクロック数３１１を、現在のクロック数（シフト回数）を「３」に更新し、差分の合計値の最小値３１２を算出した合計値「０」に更新する。よって、距離情報保持部１２５には、図１４（ｄ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【００９８】
シフト数は「３」であり、所定の回数（４回）のシフト動作が行われていないので（Ｓ１０９でＮｏ）、距離情報算出部１２４は、図１２（ｅ）に示すように、左画像を左方向に１画素シフトさせる（Ｓ１０４）。距離情報算出部１２４は、右画像と、シフトさせた左画像との差分の絶対値を算出する（Ｓ１０５）。距離情報算出部１２４は、各領域Ａ、Ｂ及びＣにおける差分の絶対値３０３の合計値３０４を算出する（Ｓ１０６）。例えば、図１３（ｅ）に示すように、各領域Ａ、Ｂ及びＣの合計値３０４として「１３」、「２０」及び「１０」が算出される。
【００９９】
次に、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域Ａ、Ｂ及びＣの合計値（図１４（ｄ））と、算出した合計値３０４とを比較する。算出した各領域の合計値「１３」、「２０」及び「１０」は、距離情報保持部１２５に保持される各領域の合計値「０」、「０」及び「０」より大きいので（Ｓ１０７でＮｏ）、距離情報算出部１２４は、距離情報保持部１２５に保持される各領域のクロック数３１１及び差分の合計値の最小値３１２を変更せずに、保持する。よって、距離情報保持部１２５には、図１４（ｅ）に示すクロック数３１１及び差分の合計値の最小値３１２が保持される。
【０１００】
シフト数は「４」であり、所定の回数（４回）のシフト動作が行われたので（Ｓ１０９でＹｅｓ）、距離情報保持部１２５は、保持するクロック数３１１を、視差として出力する。
【０１０１】
次に、信号処理部１２０は、右画像及び左画像の第３行及び第４行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。さらに、信号処理部１２０は、右画像及び左画像の第５行及び第６行の映像信号を読出し、読出した映像信号に対して同様の視差算出処理を行う。
【０１０２】
以上の処理により、信号処理部１２０は、右画像及び左画像から２行×４列の画素毎に視差を算出し出力する。ここで、信号処理部１２０において、２行毎に視差を算出する場合には、図１０に示すように２行毎に、右画像及び左画像に用いる光電変換素子１１１を配置することで、読み出した映像信号に対して、順次視差の算出処理を行うことができる。よって、信号処理部１２０による視差の算出処理を遅延なく高速に行うことができる。
【０１０３】
さらに、読み出した映像信号に対して順次視差の算出処理を行い、映像信号及び視差を算出することで、映像信号保持部１２３の記憶容量を削減することができる。すなわち、映像信号保持部１２３は、少なくとも距離情報算出部１２４による視差の算出単位（上記例では２行）の右画像及び左画像のデータを保持すればよい。また、距離情報保持部１２５は、少なくとも距離情報算出部１２４による視差の算出単位（上記例では２行）の視差を保持すればよい。なお、映像信号保持部１２３は、複数の視差の算出単位（例えば、視差算出単位の２倍）の右画像及び左画像のデータを保持し、距離情報保持部１２５は、複数の視差算出単位の視差を保持してもよい。これにより、距離情報算出部１２４は、映像信号保持部１２３に保持されている２行分の右画像及び左画像の映像信号と、距離情報保持部１２５に保持されている該映像信号に対応する２行分の視差とが出力されている間に、他の２行分の右画像及び左画像から、視差を算出することができる。これにより、フレームレートを高めることができる。
【０１０４】
なお、信号処理部１２０は、映像信号１２１及び距離情報１２２をパラレルに出力してもよいし、共通の端子からシリアルに出力してもよい。さらに、信号処理部１２０は、映像信号１２１及び距離情報（視差）１２２とを個別に出力しているが、左画像又は右画像に視差の情報を付与して出力してもよい。さらに、左画像及び右画像を合成して出力してもよい。さらに、信号処理部１２０は、算出した視差とから固体撮像装置１００から被写体１６０への距離を算出し、距離情報１２２として出力してもよい。
【０１０５】
また、上記説明では、１２行×１２列の光電変換素子１１１が配置された場合について説明したが、光電変換素子１１１の数（画素数）は、これに限定されるものではない。
【０１０６】
また、上記説明では、２行×４列の画素毎に、視差を算出する例について説明したが、視差を算出する画素の範囲は、これに限定されるものではない。また、ｍ行×ｎ列（ｍ及びｎは、１以上の整数）の画素毎に視差を算出する場合には、第１撮像領域及び第２撮像領域の配置を、ｍ行毎のストライプ状にすることで、視差の算出処理を遅延なく高速に行うことができる。
【０１０７】
また、上記説明では、ステップＳ１０１及びＳ１０５において、左画像と右画像との各画素の信号レベルの差分の絶対値を算出し、ステップＳ１０２及びＳ１０６において、各画素の差分の合計値を算出しているが、以下の処理に置き換えてもよい。各領域Ａ、Ｂ及びＣ毎に、左画像の複数の画素の信号レベルを加算し、上述した信号レベル３０１に置き換える。右画像も同様に、各領域Ａ、Ｂ及びＣ毎に、複数の画素の信号レベルを加算し、上述した信号レベル３０２に置き換える。各領域Ａ、Ｂ及びＣ毎に、差分の絶対値を算出し、上述した合計値３０４に置き換えて、その後、同様の処理を行ってもよい。これにより、細密な高画素の撮像素子を用いた場合に、一定の距離情報の精度を保ちながら計算処理量を削減することができる。
【０１０８】
また、上記説明では、ステップＳ１０４において１画素ずつシフトさせる処理を行ったが複数画素ずつシフトさせる処理を行ってもよい。
【０１０９】
ここで、図８（ｂ）に示すように、左画像１７１ｂと、右画像１７２ｂとが垂直方向にズレが生じている（エピポーラ性が悪い）場合、一致を比較する各行において、ズレにより画像が一致しないため、距離情報算出部１２４の視差ｄの算出処理における精度が低下する。本発明の実施の形態１に係る固体撮像装置１００では、上述したように、単一のＣＭＯＳイメージセンサで右画像と左画像とを撮像することで、右画像と左画像との水平方向及び垂直方向のズレを低減することができる。これにより、視差ｄの算出精度を向上させることができる。また、撮像面において高いエピポーラ性が得られるとともに、右画像及び左画像の光電変換特性も同じであるため視差ｄを精度高く容易に算出することができる。
【０１１０】
また、本発明の実施の形態１に係る固体撮像装置１００において、図４（ａ）に示すように、フィルタ１５７は、複数の光電変換素子１１１が配置される領域を水平方向に二分する第１のフィルタ１５８及び第２のフィルタ１５９を含む。これにより、複数の光電変換素子１１１が配置される領域を垂直方向に分割するように第１のフィルタ１５８及び第２のフィルタ１５９を形成する場合に比べて、撮像領域１１０が出力する左画像及び右画像の水平方向の画素数を増加させることができる。ここで、距離情報算出部１２４による視差ｄの算出処理において、視差ｄの算出に用いる映像信号の水平方向の解像度が高いほうが、より高い精度の視差ｄを算出することができる。よって、撮像領域１１０が出力する映像信号の水平方向の画素数を増加させることで、距離情報算出部１２４が算出する視差ｄの精度を向上させることができる。なお、水平方向の解像度を増加させるためには、行列状に配置された複数の光電変換素子１１１の各行に、第１のフィルタ１５８と第２のフィルタ１５９とのいずれか一方のみが配置されればよい。例えば、フィルタ１５７の第１のフィルタ１５８及び第２のフィルタ１５９は、図４（ｂ）に示すように、１行毎に交互に配置されてもよい。すなわち、水平方向のストライプ状であってもよい。さらに、第１のフィルタ１５８及び第２のフィルタ１５９は、複数行毎に交互に配置されてもよい。また、図４（ｃ）に示すように、第１のフィルタ１５８及び第２のフィルタ１５９を格子状に配置してもよい。また、図４（ｄ）に示すように、第１のフィルタ１５８及び第２のフィルタ１５９を垂直方向のストライプ状に配置してもよい。
【０１１１】
なお、上記説明において、フィルタ１５２はレンズ１５０の上部に形成され、フィルタ１５３は、レンズ１５１の上部に形成されるとしたが、フィルタ１５２はレンズ１５０の下部（レンズ１５０とミラー１５４との間）に形成され、フィルタ１５３は、レンズ１５１の下部（レンズ１５１とミラー１５５との間）に形成されてもよい。
【０１１２】
また、上記説明において、撮像領域１１０及び信号処理部１２０の構成として、図２に示す構成を説明したが、図１５に示す構成としてもよい。図１５は、本発明の実施の形態１に係る固体撮像装置１００の撮像領域１１０及び信号処理部１２０の変形例の構成を示す図である。例えば、図１５に示すように、撮像領域１１０は、行列状に配置された光電変換素子１１１の各列の光電変換素子１１１が光電変換した信号電荷をそれぞれデジタル信号に変換するＡ／Ｄ変換部１１７を備えてもよい。すなわち、Ａ／Ｄ変換部１１７は、各行に配置された複数の光電変換素子１１１が光電変換した信号電荷を同時にＡ／Ｄ変換する機能を有する。各列の信号電荷をデジタル信号に変換するＡ／Ｄ変換部１１７を備えることにより、高速にＡ／Ｄ変換を行うことができる。これにより、撮像領域１１０からの読出し処理を高速に行うことができる。また、各行の信号電荷を同時に読み出すことができるので、信号処理部１２０における行単位の視差算出処理を効率よく行うことができる。
【０１１３】
また、上記説明において、レンズ１５０及び１５１が集光した光を撮像領域１１０に入射する構造として、図３に示すミラー１５４、１５５及びダイクロックミラー１５６とを備える構造を説明したが、レンズ１５０及び１５１が集光した光を撮像領域１１０に入射する構造であればよく、図３に示す構造に限定されるものではない。例えば、ダイクロックミラー１５６の代わりに、ミラー１５４で反射された光を撮像領域１１０上に反射するミラーと、ミラー１５５で反射された光を撮像領域１１０上に反射するミラーとを備えてもよい。
【０１１４】
また、上記説明では、第１の周波数帯域と、第２の周波数帯域とは、互いに重複しない異なる周波数帯域であるとしたが、第１の周波数帯域の一部と、第２の周波数帯域の一部とが重複してもよい。例えば、フィルタ１５２が透過する周波数帯域の透過率が５０％以下の領域が、フィルタ１５３が透過する周波数帯域の一部に含まれてもよい。
【０１１５】
また、上記説明において、第１のフィルタ１５８は、第１の周波数帯域の光のみを透過するとしたが、第１の周波数帯域に含まれる周波数帯域のみを透過してもよい。すなわち、フィルタ１５２は、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）の光のみを透過し、第１のフィルタ１５８は、第１の周波数帯域に含まれる周波数帯域（例えば、波長７７０ｎｍ〜８３０ｎｍ）の光のみを透過してもよい。さらに、第１のフィルタ１５８は、透過率が低い周波数帯域として、第１の周波数帯域に含まれない周波数帯域を透過してもよい。例えば、第１のフィルタ１５８は、透過率３０％以下であれば、第１の周波数帯域（例えば、波長７５０ｎｍ〜８５０ｎｍ）に含まれない帯域を含む広帯域な周波数特性（例えば、波長７００ｎｍ〜９００ｎｍ）を有してもよい。
【０１１６】
同様に、第２のフィルタ１５９は、第２の周波数帯域に含まれる周波数帯域のみを透過してもよい。さらに、第２のフィルタ１５９は、透過率が低い周波数帯域として、第２の周波数帯域に含まれない周波数帯域を透過してもよい。
【０１１７】
また、上記説明において、信号処理部１２０は、撮像領域１１０で撮像された右画像及び左画像を出力するとしたが、算出した視差に基づき右画像及び左画像の一部を置き換えて出力してもよい。例えば、信号処理部１２０は、距離情報保持部１２５が保持する視差と、所定の範囲とを比較し、視差が所定の範囲に含まれない場合には、該視差に対応する右画像及び左画像を所定の画像（所定の画素信号又は固定値（黒又は白等））に置き換えて出力してもよい。これにより、視差の値が所定の範囲外の場合（例えば、被写体が離れている場合）には、対応する画像を黒塗り等に置き換えることで、所定の距離内の対象物（被写体）のみが表示された画像が出力される。
【０１１８】
（実施の形態２）
本発明の実施の形態２に係る固体撮像装置は、撮像領域が出力する右画像と左画像との垂直方向のずれを補正する機能を有する。これにより、右画像と左画像とに垂直方向のずれがある場合でも、高いエピポーラ性を実現し、視差の算出を高精度で行うことができる。
【０１１９】
まず、本発明の実施の形態２に係る固体撮像装置の構成を説明する。
図１６は、本発明の実施の形態２に係る固体撮像装置の構成を示す図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２０】
図１６に示す固体撮像装置２００は、図１に示す固体撮像装置１００に対して、撮像領域２０１及び制御部２３０の構成と、調整値算出部２１０及び調整値保持部２２０を備える点とが異なる。
【０１２１】
図１７は、撮像領域２０１の構成を示す図である。撮像領域２０１は、複数の光電変換素子１１１と、第１垂直走査部２１１と、第２垂直走査部２１２と、水平走査部１１３と、Ａ／Ｄ変換部１１４とを備える。なお、図２と同様の要素には、同一の符号を付している。
【０１２２】
複数の光電変換素子１１１は、半導体基板上に行列状に配置される。複数の光電変換素子１１１は、受光量に応じた信号電荷を蓄積する。複数の光電変換素子１１１は、第１撮像領域１１５又は第２撮像領域１１６に含まれる。第１撮像領域１１５に含まれる複数の光電変換素子１１１は、レンズ１５０で集光された光を光電変換する。第２撮像領域１１６に含まれる複数の光電変換素子１１１は、レンズ１５１で集光された光を光電変換する。
【０１２３】
第１垂直走査部２１１は、第１撮像領域１１５の複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。第２垂直走査部２１２は、第２撮像領域１１６の複数の光電変換素子１１１のうち各行に対応する光電変換素子１１１を順次選択する。
【０１２４】
水平走査部１１３は、複数の光電変換素子１１１のうち各列に対応する光電変換素子１１１を順次選択する。
【０１２５】
Ａ／Ｄ変換部１１４は、第１垂直走査部２１１又は第２垂直走査部２１２により行を選択され、かつ水平走査部１１３に列を選択された光電変換素子１１１に蓄積された信号電荷を、電圧又は電流に変換し、変換した電圧又は電流を映像信号として出力する。具体的には、Ａ／Ｄ変換部１１４は、第１垂直走査部２１１により行選択された第１撮像領域１１５に含まれる光電変換素子１１１が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を左画像として出力する。Ａ／Ｄ変換部１１４は、第２垂直走査部２１２により選択された第２撮像領域に含まれる光電変換素子１１１が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を右画像として出力する。
【０１２６】
調整値算出部２１０は、撮像領域２０１が出力する右画像及び左画像から、右画像と左画像との垂直方向のズレを算出する。具体的には、調整値算出部２１０は、左画像に対する、右画像の垂直方向の画素のズレを示す値である調整値２２１を算出する。例えば、図８（ｂ）に示す左画像１７１ｂ及び右画像１７２ｂの例では、調整値算出部２１０は、左画像１７１ｂと右画像１７２ｂとの垂直方向のズレ１７３を算出する。例えば、調整値算出部２１０は、左画像１７１ｂと、右画像１７２ｂとの画像データからそれぞれが一致する特異点を抽出し、画素データのＹアドレスの差分を調整値２２１として出力する。例えば、調整値算出部２１０は、左画像１７１ｂと、右画像１７２ｂのデータを比較し、一致するか否かを判定する。次に、調整値算出部２１０は、右画像１７２ｂのデータを下側にシフトさせ、シフトさせたデータが左画像１７１ｂと一致するか否かを判定する。調整値算出部２１０は、右画像１７２ｂのデータを下側に所定の回数シフトする動作毎に、左画像１７１ｂと一致を判定する処理を行う。次に、調整値算出部２１０は、下側へシフトする前の右画像１７２ｂのデータを上側にシフトさせ、シフトさせたデータが左画像１７１ｂと一致するか否かを判定する。調整値算出部２１０は、右画像１７２ｂのデータを上側に所定の回数シフトする動作毎に、左画像１７１ｂと一致を判定する処理を行う。所定の回数の一致判定処理の後、調整値算出部２１０は、最も画像が一致したシフト回数を調整値２２１として出力する。なお、調整値算出部２１０による左画像１７１ｂ及び右画像１７２ｂの一致判定処理は、左画像１７１ｂ及び右画像１７２ｂの所定の列毎に行ってもよい。
【０１２７】
調整値算出部２１０は、例えば、固体撮像装置２００の電源投入時に上述した調整値２２１の算出処理を行う。なお、調整値算出部２１０は、所定の時間毎、又は外部からの操作に応じて、上述した調整値２２１の算出処理を行ってもよい。
【０１２８】
調整値保持部２２０は、調整値算出部２１０が算出した調整値２２１を保持する。
制御部２３０は、調整値保持部２２０が保持する調整値２２１に応じた行から、撮像領域２０１の第１垂直走査部２１１の行選択を開始させる第１行制御信号と、第２垂直走査部２１２の行選択を開始させる第２行制御信号とを生成する。
【０１２９】
次に、本発明の実施の形態２に係る固体撮像装置２００の動作を説明する。
例えば、図１０に示すように、１２行×１２列の光電変換素子１１１に対し、左画像を撮像する第１撮像領域１１５と、右画像を撮像する第２撮像領域１１６とが、２行毎に交互に配置された場合の動作を説明する。また、図８（ｂ）に示すように左画像１７１ｂ及び右画像１７２ｂが垂直方向にずれている場合の動作を説明する。なお、図８（ｂ）において、左画像１７１ｂが、右画像１７２ｂより上側に２画素分ずれているとする。
【０１３０】
調整値算出部２１０は、左画像１７１ｂ及び右画像１７２ｂから、左画像に対する、右画像の垂直方向の画素のズレを示す値である調整値２２１を算出する。図８（ｂ）に示す例では、例えば、調整値２２１として「２」が算出される。調整値算出部２１０は、算出した調整値２２１を調整値保持部２２０に保持する。
【０１３１】
制御部２３０は、調整値保持部２２０が保持する調整値２２１の値「２」より、左画像を撮像する第１撮像領域１１５の行選択を行う第１垂直走査部２１１に、通常の行選択を開始する行（左画像の第１行）から行選択を開始させる第１行制御信号を出力する。また、制御部２３０は、右画像を撮像する第２撮像領域１１６の行選択を行う第２垂直走査部２１２に、通常の行選択を開始する行に補正値の値「２」を加算した行（右画像の第３行）から行選択を開始させる第２行制御信号を出力する。
【０１３２】
制御部２３０が出力する第１行制御信号及び第２行制御信号により、撮像領域２０１は、右画像の第３行の信号電荷に対応する映像信号を読出し、次に右画像の第４行の信号電荷に対応する映像信号を読出し、次に左画像の第１行の信号電荷に対応する映像信号を読出し、次に左画像の第２行の信号電荷に対応する映像信号を読み出す。信号処理部１２０は、読み出された右画像の第３行及び第４行と、左画像の第１行及び第２行とから、視差を算出する。なお、信号処理部１２０による視差の算出処理は、実施の形態１と同様であり、詳細な説明は省略する。
【０１３３】
以上の動作により、本発明の実施の形態２に係る固体撮像装置２００は、撮像領域２０１が出力する右画像及び左画像の垂直方向のズレを算出し、算出したズレに基づき、撮像領域２０１の行選択を開始する行を変更する。これにより、垂直方向のズレを補正した右画像及び左画像を出力することができる。よって、右画像と左画像とのエピポーラ性を向上させ、信号処理部１２０が算出する視差の精度を向上させることができる。
【０１３４】
なお、上記説明において、撮像領域２０１は、図１７に示すように第１垂直走査部２１１と第２垂直走査部２１２とを備えるとしたが、単一の垂直走査部が調整値２２１に応じて、出力する左画像及び右画像のズレがなくなるように、行を選択してもよい。
【０１３５】
また、上記説明において、制御部２３０が、調整値保持部２２０が保持する調整値２２１に応じた行から、撮像領域２０１の第１垂直走査部２１１の行選択を開始させる第１行制御信号と、第２垂直走査部２１２の行選択を開始させる第２行制御信号とを生成することで、ズレを補正するとしたが、信号処理部１２０においてズレの補正を行ってもよい。例えば、距離情報算出部１２４は、映像信号保持部１２３が保持する右画像及び左画像のうち一方の調整値２２１に応じた行と、映像信号保持部１２３が保持する右画像及び左画像のうち他方とから視差を算出してもよい。すなわち、距離情報算出部１２４は、右画像及び左画像に垂直方向のズレが生じている場合には、映像信号保持部１２３に保持されている右画像及び左画像を調整値２２１に応じて補正し、補正した右画像及び左画像に対して視差の算出を行う。なお、右画像及び左画像の補正は、距離情報算出部１２４が視差を算出する際に行ってもよいし、撮像領域１１０から出力される右画像及び左画像を補正し映像信号保持部１２３に保持してもよし、映像信号保持部１２３に保持されている右画像及び左画像に補正を行い映像信号保持部１２３が保持しているデータを更新してもよい。
【０１３６】
また、上記説明において、調整値算出部２１０が、調整値２２１を算出するとしたが、調整値２２１は、外部から入力されてもよい。例えば、出荷時等に、外部の装置が、固体撮像装置２００から出力された映像信号から調整値２２１を算出し、算出した調整値２２１を固体撮像装置２００に入力し、調整値保持部２２０に保持してもよい。なお、外部から調整値２２１を入力する場合には、固体撮像装置２００は、調整値算出部２１０を備えなくともよい。
【０１３７】
また、上記実施の形態１及び２における説明では、本発明を車両に搭載された近赤外光を用いた暗視機能を有するカメラに適用した実施例について説明したが、車両に搭載された近赤外光を用いた暗視機能を有するカメラ以外にも、撮像被写体までの距離情報を出力するカメラとして適用することができる。例えば、本発明に係る固体撮像装置は、監視装置に用いられるカメラ及びＴＶ電話のカメラ等に適用することができる。
【０１３８】
また、上記実施の形態１及び２における説明では、固体撮像装置は、近赤外光を照射する光源１４０を備えるとしたが、光源１４０は、近赤外光以外の光を照射してもよい。例えば、光源１４０は、可視光を照射してもよい。この場合、上述した第１の周波数帯域及び第２の周波数帯域は、可視光内の、互いに重複しない異なる周波数帯域であればよい。さらに、暗視機能を必要としない場合には、固体撮像装置は、光源１４０を備えなくともよい。
【産業上の利用可能性】
【０１３９】
本発明は、固体撮像装置に適用でき、特に、車載用のカメラ、監視カメラ及びＴＶ電話のカメラ等に適用できる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の実施の形態１に係る固体撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る固体撮像装置の撮像領域及び信号処理部の構成を示す図である。
【図３】本発明の実施の形態１に係る固体撮像装置の撮像領域の断面構造を模式的に示す図である。
【図４】本発明の実施の形態１に係る固体撮像装置のフィルタ１５７を上面から見た構成を模式的に示す図である。
【図５】本発明の実施の形態１に係る固体撮像装置のフィルタの断面構造を模して気的に示す図である。
【図６】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図７】本発明の実施の形態１に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。
【図８】本発明の実施の形態１に係る固体撮像装置の撮像領域が出力する映像信号の一例を示す図である。
【図９】本発明の実施の形態１に係る固体撮像装置の信号処理部の処理を説明するための図である。
【図１０】本発明の実施の形態１に係る固体撮像装置の左画像及び右画像の光電変換に用いられる光電変換素子の配置の一例を示す図である。
【図１１】本発明の実施の形態１に係る固体撮像装置の信号処理部による距離情報の算出の処理の流れを示すフローチャートである。
【図１２】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１３】本発明の実施の形態１に係る固体撮像装置の距離情報算出部による距離情報の算出処理を説明するための図である。
【図１４】本発明の実施の形態１に係る固体撮像装置の距離情報算出部の距離情報の算出処理において距離情報保持部に保持されるデータの一例を示す図である。
【図１５】本発明の実施の形態１に係る固体撮像装置の撮像領域及び信号処理部の変形例の構成を示す図である。
【図１６】本発明の実施の形態２に係る固体撮像装置の構成を示す図である。
【図１７】本発明の実施の形態２に係る固体撮像装置の撮像領域及び信号処理部の構成を示す図である。
【図１８】従来の固体撮像装置の構成を示す図である。
【符号の説明】
【０１４１】
１００、２００、１０００ 固体撮像装置
１１０、２０１ 撮像領域
１１１ 光電変換素子
１１２ 垂直走査部
１１３ 水平走査部
１１４、１１７ Ａ／Ｄ変換部
１１５ 第１撮像領域
１１６ 第２撮像領域
１２０ 信号処理部
１２１ 映像信号
１２２ 距離情報
１２３ 映像信号保持部
１２４ 距離情報算出部
１２５ 距離情報保持部
１３０、２３０ 制御部
１４０ 光源
１５０、１５１ レンズ
１５２、１５３、１５７ フィルタ
１５４、１５５ ミラー
１５６ ダイクロックミラー
１５８ 第１のフィルタ
１５９ 第２のフィルタ
１６０ 被写体
１６１、１６６ 上部反射層
１６２、１６７ スペーサ層
１６３、１６８ 下部反射層
１６４ ＴｉＯ2層
１６５ ＳｉＯ2層
１７１ａ、１７１ｂ 左画像
１７２ａ、１７２ｂ 右画像
２１０ 調整値算出部
２１１ 第１垂直走査部
２１２ 第２垂直走査部
２２０ 調整値保持部
２２１ 調整値
１００１、１００２ カメラ
【特許請求の範囲】
【請求項１】
行列状に配置された複数の光電変換素子を備える撮像部と、
第１の周波数帯域の光を集光する第１集光部と、
前記第１集光部と離間して設けられ、前記第１の周波数帯域と異なる第２の周波数帯域の光を集光する第２集光部と、
前記第１集光部が集光した光及び前記第２集光部が集光した光を前記撮像部に入射する光入射部と、
前記複数の光電変換素子に含まれる複数の第１光電変換素子上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタと、
前記複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える
ことを特徴とする固体撮像装置。
【請求項２】
前記固体撮像装置は、さらに、
前記複数の第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記複数の第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段を備える
ことを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記算出手段は、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、
前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、
前記視差算出手段が算出した前記視差を保持する第２保持手段とを備える
ことを特徴とする請求項２記載の固体撮像装置。
【請求項４】
前記視差算出手段は、
前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、
前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項５】
前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、
前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、
前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、
前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項６】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置される
ことを特徴とする請求項１〜５のいずれか１項に記載の固体撮像装置。
【請求項７】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記第１光電変換素子と前記第２光電変換素子とは、１以上の行毎に交互に配置される
ことを特徴とする請求項６記載の固体撮像装置。
【請求項８】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置され、
前記第１光電変換素子と前記第２光電変換素子とは、ｍ行毎に交互に配置される
ことを特徴とする請求項４記載の固体撮像装置。
【請求項９】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記固体撮像装置は、さらに、
前記第１映像信号の画像と、前記第２映像信号の画像との列方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、
前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち一方の前記ズレ値に応じた行と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち他方とから視差を算出する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項１０】
前記撮像部は、
前記第１光電変換素子の行を選択する第１行選択手段と、
前記第２光電変換素子の行を選択する第２行選択手段とを備え、
前記出力手段は、前記第１行選択手段により行選択された前記第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第１映像信号として出力し、前記第２行選択手段により選択された前記第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第２映像信号として出力し、
前記固体撮像装置は、さらに、
前記ズレ値保持手段が保持する前記ズレ値に応じた行から前記第１行選択手段又は前記第２行選択手段による行の選択を開始させる行制御手段を備える
ことを特徴とする請求項１〜８のいずれか１項に記載の固体撮像装置。
【請求項１１】
前記固体撮像装置は、さらに、
前記第１映像信号及び前記第２映像信号から、前記ズレ値を算出するズレ値算出手段を備え、
前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持する
ことを特徴とする請求項９又は１０記載の固体撮像装置。
【請求項１２】
前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備える
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１３】
前記第１保持手段は、少なくともｍ行の前記第１映像信号及び前記第２映像信号を保持する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１４】
前記第１保持手段は、少なくとも２×ｍ行の前記第１映像信号及び前記第２映像信号を保持し、
前記第２保持手段は、ｍ行単位の少なくとも２×ｍ行の前記視差算出手段が算出した前記視差を保持し、
前記視差算出手段は、前記２×ｍ行のうち一方のｍ行の前記第１映像信号及び前記第２映像信号と、該ｍ行の第１映像信号及び第２映像信号に対応するｍ行の視差とが出力されている間に、前記２×ｍ行のうち他方のｍ行の前記第１映像信号及び前記第２映像信号から、ｍ行の視差を算出する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１５】
前記算出手段は、さらに、
前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備える
ことを特徴とする請求項３記載の固体撮像装置。
【請求項１６】
前記第１のフィルタ及び前記第２のフィルタは、
第１誘電体層及び第２誘電体層と、
前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、
前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なる
ことを特徴とする請求項１〜１５のいずれか１項に記載の固体撮像装置。
【請求項１７】
前記固体撮像装置は、さらに、
前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備える
ことを特徴とする請求項１〜１６のいずれか１項に記載の固体撮像装置。
【請求項１８】
前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれる
ことを特徴とする請求項１〜１７のいずれか１項に記載の固体撮像装置。
【請求項１９】
請求項１〜１８のいずれか１項に記載の固体撮像装置を備える
ことを特徴とするカメラ。
【請求項２０】
請求項１９記載のカメラを備える
ことを特徴とする車両。
【請求項２１】
請求項１９記載のカメラを備える
ことを特徴とする監視装置。
【請求項１】
行列状に配置された複数の光電変換素子を備える撮像部と、
第１の周波数帯域の光を集光する第１集光部と、
前記第１集光部と離間して設けられ、前記第１の周波数帯域と異なる第２の周波数帯域の光を集光する第２集光部と、
前記第１集光部が集光した光及び前記第２集光部が集光した光を前記撮像部に入射する光入射部と、
前記複数の光電変換素子に含まれる複数の第１光電変換素子上に形成され、前記第１の周波数帯域に含まれる第３の周波数帯域の光を透過する第１のフィルタと、
前記複数の光電変換素子に含まれる複数の第２光電変換素子上に形成され、前記第２の周波数帯域に含まれる第４の周波数帯域の光を透過する第２のフィルタとを備える
ことを特徴とする固体撮像装置。
【請求項２】
前記固体撮像装置は、さらに、
前記複数の第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第１映像信号として出力し、前記複数の第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を第２映像信号として出力する出力手段と、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号から、被写体までの距離に関する情報を算出する算出手段を備える
ことを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記算出手段は、
前記出力手段が出力する前記第１映像信号及び前記第２映像信号を保持する第１保持手段と、
前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号から、前記被写体に対する視差を算出する視差算出手段と、
前記視差算出手段が算出した前記視差を保持する第２保持手段とを備える
ことを特徴とする請求項２記載の固体撮像装置。
【請求項４】
前記視差算出手段は、
前記第１保持手段が保持する前記第１映像信号のｍ（１以上の整数）行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返すずらし手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ行とに含まれる各画素の信号レベルの差分の絶対値を算出する差分算出手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分の絶対値の、ｎ（１以上の整数）列毎の和を算出する加算手段と、
前記ずらし手段による所定の回数の前記処理毎に、前記加算手段が算出した和が、前記第２保持手段が保持している和より小さい場合に、前記加算手段が算出した和と、前記ずらし手段による前記処理が実行された回数とを前記第２保持手段に保持する制御手段とを備え、
前記第２保持手段は、前記ずらし手段による所定の回数の前記処理が終了した後に、保持する前記処理が実行された回数を、前記視差として出力する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項５】
前記視差算出手段は、外部から入力されたｍ１（１以上の整数）行×ｎ１（１以上の整数）列毎に、前記視差を算出し、
前記ずらし手段は、前記第１保持手段が保持する前記第１映像信号のｍ１行の画素を行方向に所定の画素分ずらす処理を所定の回数繰り返し、
前記差分算出手段は、前記ずらし手段による所定の回数の前記処理毎に、前記づらし手段がずらしたｍ１行の映像信号と、前記第１保持手段が保持する前記第２映像信号のｍ１行とに含まれる各画素の信号レベルの差分の絶対値を算出し、
前記加算手段は、前記ずらし手段による所定の回数の前記処理毎に、前記差分算出手段が算出した差分絶対値の、ｎ１列毎の和を算出する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項６】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置される
ことを特徴とする請求項１〜５のいずれか１項に記載の固体撮像装置。
【請求項７】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記第１光電変換素子と前記第２光電変換素子とは、１以上の行毎に交互に配置される
ことを特徴とする請求項６記載の固体撮像装置。
【請求項８】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記行列状に配置された複数の光電変換素子の各行には、前記第１光電変換素子と前記第２光電変換素子とのいずれか一方のみが配置され、
前記第１光電変換素子と前記第２光電変換素子とは、ｍ行毎に交互に配置される
ことを特徴とする請求項４記載の固体撮像装置。
【請求項９】
前記第１集光部と前記第２集光部とは、前記行列状に配置された複数の光電変換素子の行方向に離間して設けられ、
前記固体撮像装置は、さらに、
前記第１映像信号の画像と、前記第２映像信号の画像との列方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、
前記視差算出手段は、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち一方の前記ズレ値に応じた行と、前記第１保持手段が保持する前記第１映像信号及び前記第２映像信号のうち他方とから視差を算出する
ことを特徴とする請求項３記載の固体撮像装置。
【請求項１０】
前記撮像部は、
前記第１光電変換素子の行を選択する第１行選択手段と、
前記第２光電変換素子の行を選択する第２行選択手段とを備え、
前記出力手段は、前記第１行選択手段により行選択された前記第１光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第１映像信号として出力し、前記第２行選択手段により選択された前記第２光電変換素子が光電変換した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記第２映像信号として出力し、
前記固体撮像装置は、さらに、
前記ズレ値保持手段が保持する前記ズレ値に応じた行から前記第１行選択手段又は前記第２行選択手段による行の選択を開始させる行制御手段を備える
ことを特徴とする請求項１〜８のいずれか１項に記載の固体撮像装置。
【請求項１１】
前記固体撮像装置は、さらに、
前記第１映像信号及び前記第２映像信号から、前記ズレ値を算出するズレ値算出手段を備え、
前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持する
ことを特徴とする請求項９又は１０記載の固体撮像装置。
【請求項１２】
前記出力手段は、各列の前記光電変換素子が光電変換した信号電荷を、それぞれデジタル信号に変換し前記第１映像信号又は前記第２映像信号として出力する複数の変換手段を備える
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１３】
前記第１保持手段は、少なくともｍ行の前記第１映像信号及び前記第２映像信号を保持する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１４】
前記第１保持手段は、少なくとも２×ｍ行の前記第１映像信号及び前記第２映像信号を保持し、
前記第２保持手段は、ｍ行単位の少なくとも２×ｍ行の前記視差算出手段が算出した前記視差を保持し、
前記視差算出手段は、前記２×ｍ行のうち一方のｍ行の前記第１映像信号及び前記第２映像信号と、該ｍ行の第１映像信号及び第２映像信号に対応するｍ行の視差とが出力されている間に、前記２×ｍ行のうち他方のｍ行の前記第１映像信号及び前記第２映像信号から、ｍ行の視差を算出する
ことを特徴とする請求項４記載の固体撮像装置。
【請求項１５】
前記算出手段は、さらに、
前記第２保持手段が保持する前記視差と、所定の範囲とを比較し、前記視差が所定の範囲に含まれない場合には、該視差に対応する前記第１映像信号及び前記第２映像信号を所定の画像に置き換えて出力する置き換え手段を備える
ことを特徴とする請求項３記載の固体撮像装置。
【請求項１６】
前記第１のフィルタ及び前記第２のフィルタは、
第１誘電体層及び第２誘電体層と、
前記第１誘電体層と前記第２誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、
前記絶縁体層の光学膜厚は、前記第１誘電体層及び前記第２誘電体層の光学膜厚と異なる
ことを特徴とする請求項１〜１５のいずれか１項に記載の固体撮像装置。
【請求項１７】
前記固体撮像装置は、さらに、
前記第１周波数帯域及び前記第２周波数帯域を含む周波数帯域の光を被写体に照射する光源を備える
ことを特徴とする請求項１〜１６のいずれか１項に記載の固体撮像装置。
【請求項１８】
前記第１周波数帯域及び前記第２周波数帯域は、近赤外領域に含まれる
ことを特徴とする請求項１〜１７のいずれか１項に記載の固体撮像装置。
【請求項１９】
請求項１〜１８のいずれか１項に記載の固体撮像装置を備える
ことを特徴とするカメラ。
【請求項２０】
請求項１９記載のカメラを備える
ことを特徴とする車両。
【請求項２１】
請求項１９記載のカメラを備える
ことを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１５３９３１（Ｐ２００８−１５３９３１Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３３９７６２（Ｐ２００６−３３９７６２）
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]