画像処理システム及びそれを備えた車両
【課題】外光の影響を抑えて、雨滴検出の精度を向上させた画像処理システム及びそれを備えた車両を提供する。
【解決手段】フロントガラス１０５の内壁面１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、フロントガラス１０５の外壁面１０５ｂに付着した雨滴２０３などの異物によって反射された光源２０２からの光、及び、外壁面１０５ｂ側からフロントガラス１０５を透過した光を撮像する撮像装置２０１と、撮像装置２０１で撮像された撮像画像データを解析する画像解析ユニット１０２と、を備え、撮像装置２０１は、有効撮像領域の所定領域に入射した光の分光情報を取得するためのカラーセンサを有し、画像解析ユニット１０２は、前記分光情報に光源２０２からの光の波長情報が含まれているか否かを判定することにより、撮像画像データからフロントガラス１０５に付着した雨滴２０３などの異物を検出する。
【解決手段】フロントガラス１０５の内壁面１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、フロントガラス１０５の外壁面１０５ｂに付着した雨滴２０３などの異物によって反射された光源２０２からの光、及び、外壁面１０５ｂ側からフロントガラス１０５を透過した光を撮像する撮像装置２０１と、撮像装置２０１で撮像された撮像画像データを解析する画像解析ユニット１０２と、を備え、撮像装置２０１は、有効撮像領域の所定領域に入射した光の分光情報を取得するためのカラーセンサを有し、画像解析ユニット１０２は、前記分光情報に光源２０２からの光の波長情報が含まれているか否かを判定することにより、撮像画像データからフロントガラス１０５に付着した雨滴２０３などの異物を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を光学的に検出する画像処理システム及びそれを備えた車両に関する。
【背景技術】
【０００２】
近年、自動車等の車両に、車両の周辺情報を取得するためのセンシング用のカメラと、車両のフロントガラスに付着した雨滴を検出するための雨滴検出用のカメラを兼用させた画像処理システムが搭載されるようになってきている（例えば、特許文献１参照）。このような画像処理システムは、例えば、車両のフロントガラスに付着した雨滴をワイパーにより自動的に除去するシステムに用いられる。
【０００３】
特許文献１には、センシング用のカメラと雨滴検出用のカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像して、刻々と変わる外光に追従するため、光源の発光強度を変化させる構成を備えた画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理システムは、撮像画像の輝度情報に基づいて雨滴からの反射光を検出するものであり、その検出結果は外光の影響を受けやすく、検出精度が十分ではないという問題があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであって、外光の影響を抑えて、雨滴検出の精度を向上させた画像処理システム及びそれを備えた車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理システムは、透明部材の一方の面側から該透明部材に向けて光を照射する光源と、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子と、前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、前記撮像素子で撮像された撮像画像データを解析する画像解析手段と、を備え、前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする。
【０００７】
この構成により、有効撮像領域の所定領域に入射した光の分光情報に、光源からの光の波長情報が含まれているか否かを判定し、その判定結果に基づいて雨滴検出を行うため、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【発明の効果】
【０００８】
本発明は、外光の影響を抑えて、雨滴検出の精度を向上させた画像処理システム及びそれを備えた車両を提供するものである。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図
【図２】本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図
【図３】撮像ユニットが有する撮像装置の概略構成を示す模式図
【図４】雨滴検出用の撮像画像データである赤外光画像データを示す説明図
【図５】光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図
【図６】光学フィルタの有効撮像領域の領域分割を説明するための正面模式図
【図７】撮像画像を例示する説明図
【図８】有効撮像領域におけるカラーフィルタの構成を撮像レンズ側から見た模式図
【図９】光学フィルタの領域分割とカラーフィルタの画素の対応を例示する模式図
【図１０】カラーフィルタの分光特性を示すグラフ
【図１１】第１及び第２の分光フィルタ層の分光特性を示すグラフ
【図１２】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１３】光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図
【図１４】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１５】雨滴検出処理の手順を示すフローチャート
【図１６】偏光フィルタ層を構成するワイヤグリッド構造の拡大図
【図１７】偏光フィルタ層におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図
【図１８】撮像装置が有する光源からの出射光の光路を示す説明図
【図１９】本発明者らが行った実験結果の画像を示す説明図
【発明を実施するための形態】
【００１０】
以下、本発明に係る画像処理システム及びそれを備えた車両の実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
【００１１】
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。
【００１２】
図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。
【００１３】
本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。
【００１４】
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。なお、以降では、車両１００の前方の他車両の位置、方角、距離、並びに、路面上の白線（区画線）等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。
【００１５】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１６】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１７】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１８】
図２は、本実施形態に係る画像処理システム１１０が備える撮像ユニット１０１の概略構成を示す模式図である。図２に示すように、撮像ユニット１０１は、車両１００内に固定されるカバー２１０と、撮像装置２０１と、車両１００のフロントガラス１０５の内壁面（一方の面）１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、を有する。撮像装置２０１及び光源２０２はカバー２１０の内部に収容される。なお、図２は、カバー２１０内に１つの光源２０２が収容された例を図示しているが、光源の個数は１つに限定されるものではなく、複数個であってもよい。
【００１９】
図３は、撮像ユニット１０１が有する撮像装置２０１の概略構成を示す模式図である。撮像装置２０１は、主に、フロントガラス１０５の外壁面（他方の面）１０５ｂに付着した異物（以下、異物が雨滴である場合を例に挙げて説明する。）２０３によって反射された光源２０２（図２参照）からの光、及び、車両１００の外部から（外壁面１０５ｂ側から）フロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、から構成されている。
【００２０】
なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図３は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像装置２０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、そのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。
【００２１】
光源２０２は、撮像レンズ２０４の画角範囲と光源２０２の照射領域とがフロントガラス１０５の内壁面１０５ａで重なるように配置される。なお、光源２０２としてはアイセーフ帯の波長及び光量の光源を使用する。撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。
【００２２】
光源２０２は、フロントガラス１０５の外壁面１０５ｂに付着した雨滴を検出するためのものである。フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着している場合、光源２０２が発した光は、雨滴２０３と空気の界面で反射し、その反射光は撮像装置２０１に入射する。一方、フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着していない場合、光源２０２から照射された光は、その一部がフロントガラス１０５を透過して外部に漏れ、残りの光がフロントガラス１０５の内壁面１０５ａ、あるいは、外壁面１０５ｂと外気との界面で反射し、その反射光が撮像装置２０１へ入射する。
【００２３】
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光領域や赤外光領域の波長であるとよい。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長、例えば７５０ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。以降では、光源２０２が赤外光領域の波長の光を照射する場合を例に挙げて説明する。
【００２４】
なお、光源２０２は、連続発光（ＣＷ発光）を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタイミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
【００２５】
被写体（検出対象物）を含む撮像範囲からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に変換される。ここで、被写体（検出対象物）とは、車両１００の前方の風景や、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物である。信号処理部２０８では、撮像素子２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、撮像素子２０６上における各画素の輝度情報及び色情報を含むデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００２６】
既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２０１の撮像画像データから適切な情報を取得することができる。
【００２７】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス１０５との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高くなる。
【００２８】
図４は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図４（ａ）はフロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ｂ）は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
【００２９】
フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ａ）に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４（ａ）に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
【００３０】
これに対し、無限遠に焦点が合っている場合には、図４（ｂ）に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高くなる。
【００３１】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３２】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２０１で撮像する際、撮像装置２０１の撮像素子２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００３３】
そこで、本実施形態においては、例えば、光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を撮像素子２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、撮像素子２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
【００３４】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出画像領域（第１の画像領域）と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域（第２の画像領域）と、に分割し、雨滴検出画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する構成としている。
【００３５】
図５は、光学フィルタ２０５、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。
【００３６】
光学フィルタ２０５は、図５に示したように、使用帯域（本実施形態では可視光領域と赤外光領域）の光に対して透明な基板２２０と、基板２２０上の撮像レンズ２０４側の有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、基板２２０上の撮像素子２０６側の有効撮像領域の一部に、上記偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層（第２の分光フィルタ層）２２２と、を有し、分光フィルタ層２２２の撮像素子２０６側の面が撮像素子２０６に密着接合されてなる。
【００３７】
即ち、光学フィルタ２０５は、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。
【００３８】
図６は、分光フィルタ層２２１及び分光フィルタ層２２２を有する光学フィルタ２０５の有効撮像領域の領域分割を説明するための正面模式図である。図６に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域２１１と、上記の雨滴検出画像領域に対応する赤外光透過領域２１２とに、領域分割されている。
【００３９】
例えば、可視光透過領域２１１は有効撮像領域の中央部１／２の領域であり、一方、赤外光透過領域２１２は有効撮像領域の上部及び下部の領域であるとよい。あるいは、赤外光透過領域２１２は、有効撮像領域の上部、下部、または側部に設けられてもよいが、図６に示したように有効撮像領域の上部及び下部に設けられることが特に好ましい。以下、その理由について説明する。図７は、撮像画像データを例示する図である。
【００４０】
対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
【００４１】
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴２０３の検出とを両立して行う場合には、図７に示すように、撮像画像の中央部を車両周辺情報検出画像領域２１３とし、撮像画像の上部及び下部をそれぞれ雨滴検出画像領域２１４とすることが好適である。即ち、図６に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域２１２とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域２１１とし、これに対応して分光フィルタ層２２２を領域分割するのが好適である。
【００４２】
なお、有効撮像領域のうち、充填材２２４上の分光フィルタ層２２２が形成されていない領域に、光源２０２が照射する赤外波長光をカットするフィルタが形成されていてもよい。
【００４３】
撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側には、フォトダイオード２０６Ａの各画素に対応してマイクロレンズ２０６Ｂが設けられている。この撮像素子２０６がワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７が形成されている。
【００４４】
さらに、撮像素子２０６は、フォトダイオード２０６Ａとマイクロレンズ２０６Ｂとの間にカラーフィルタ２０６Ｃを有する。ここで、フォトダイオード２０６Ａとカラーフィルタ２０６Ｃとからなる構成をカラーセンサ２０６Ｄとも呼ぶ。カラーセンサ２０６Ｄは、有効撮像領域の少なくとも赤外光透過領域２１２に入射した光の分光情報を取得するためのカラーセンサとして機能する。
【００４５】
図８は、有効撮像領域におけるカラーフィルタ２０６Ｃの構成を、撮像レンズ２０４側から見た模式図である。また、図９は、光学フィルタ２０５の領域分割とカラーフィルタ２０６Ｃの画素の対応を例示する模式図である。カラーフィルタ２０６Ｃとしては、フォトダイオード２０６Ａの各画素に対応して、Ｒ、Ｇ及びＢの各原色のフィルタが正方格子状に配置されたベイヤー配列のフィルタ（図８（ａ））、または、補色（グリーン、マゼンタ、イエロー、シアンの４色）が正方格子状に配置された色差順次配列のフィルタ（図８（ｂ））などを用いることができる。
【００４６】
なお、図８及び図９ではカラーフィルタ２０６Ｃ（カラーセンサ２０６Ｄ）の各画素を簡略化して描いているが、実際にはカラーフィルタ２０６Ｃ（カラーセンサ２０６Ｄ）は２次元配置された数十万個程度の画素で構成されている。
【００４７】
図１０は、カラーフィルタ２０６Ｃの分光特性を示すグラフである。このグラフは、光源２０２の発光波長がカラーセンサ２０６Ｄ上でどのような色として検出されるかを示すものである。ここでは、カラーフィルタ２０６Ｃが、図８（ａ）に示したようなベイヤー配列のフィルタであるとしている。図１０においては、カラーセンサ２０６Ｄで検出された各色の成分のうち、Ｒ成分は実線、Ｇ成分は破線、Ｂ成分は一点鎖線で示されている。
【００４８】
ここで、例えば、光源２０２の発光波長が９５０ｎｍである場合には、Ｒ、Ｇ及びＢ成分の全てについてカラーフィルタ２０６Ｃの透過率に差が出ず、光源２０２から出射される光に特有の色（波長情報）を検出することが難しくなる。また、Ｒ、Ｇ及びＢ成分のいずれか２成分が同じ感度を持つ発光波長（例えば、５９０ｎｍ、６６０ｎｍ、８２０ｎｍ付近）についても、光源２０２に特有の色が出にくい。
【００４９】
つまり、外光に影響されずに光源２０２に特有の色を検出するためには、Ｒ、Ｇ及びＢ成分に感度の差があるとともに、他車両のテールランプの光などの赤色光の波長帯とほとんど重ならない７５０ｎｍ以上８００ｎｍ以下の波長帯域に光源２０２の発光波長を設定することが望ましい。
【００５０】
図１１は、分光フィルタ層２２１及び分光フィルタ層２２２の分光特性を示すグラフである。分光フィルタ層２２１は、図１１（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光と、波長範囲７５０ｎｍ〜８００ｎｍ（ここでは、λ３＝７５０ｎｍ、λ４＝８００ｎｍ）の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
【００５１】
ただし、本実施形態の撮像素子２０６を構成する各カラーセンサ２０６Ｄは、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層２２１が、波長範囲６７０ｎｍ〜７５０ｎｍの赤外光を透過させないようになっている（透過率５％以下が望ましい）。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００５２】
また、分光フィルタ層２２２は、図１１（ｂ）に示すように波長範囲７５０ｎｍ〜８００ｎｍの赤外光領域を透過帯としている。従って、光学フィルタ２０５は、分光フィルタ層２２２と上述の分光フィルタ層２２１との組合せにより、波長範囲７５０ｎｍ（＝λ３）〜８００ｎｍ（＝λ４）の範囲の光のみを透過させることとなる。なお、この波長範囲λ３〜λ４における透過率のピークと光源２０２の発光波長が略同等であること（あるいは、発光波長が波長範囲λ３〜λ４に含まれること）が望ましい。
【００５３】
なお、分光フィルタ層２２１は、図１１（ａ）に示す分光特性に代えて、図１２（ａ）に示す分光特性を有するものであってもよい。また、分光フィルタ層２２２は、図１１（ｂ）に示す分光特性（透過率のピークが光源２０２の発光波長と略一致したバンドパスフィルタを含む特性）に代えて、図１２（ｂ）に示す分光特性を有するものであってもよい。つまり、分光フィルタ層２２２の分光特性は、光源２０２の発光波長よりも短波長側の光をカットする特性であってもよい。
【００５４】
ところで、撮像装置２０１の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜７５０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００５５】
図１３に、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度をさらに向上させるための光学フィルタの他の構成を示す。即ち、光学フィルタ２０５'は、図５に示した光学フィルタ２０５の分光フィルタ層２２１及び分光フィルタ層２２２に代えて、基板２２０上の撮像レンズ２０４側の可視光透過領域２１１に形成され、波長λ１〜λ２（λ１＜λ２）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１'と、基板２２０上の撮像素子２０６側の赤外光透過領域２１２に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層２２２'（第２の分光フィルタ層）と、を有するものであってもよい。
【００５６】
図１４は、上記の光学フィルタ２０５'の分光特性を示すグラフである。分光フィルタ層２２１'は、図１４（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光を透過させる。
【００５７】
一方、分光フィルタ層２２２'は、図１４（ｂ）に示すような波長範囲７５０ｎｍ〜８００ｎｍの赤外光領域を透過帯域とするバンドパスフィルタ型の分光特性を有するものであってもよく、図１４（ｃ）に示すような波長７５０ｎｍよりも短波長側の光をカットする分光特性を有するものであってもよい。
【００５８】
上記の構成の光学フィルタ２０５'を用いることにより、撮像画像データの車両周辺情報検出画像領域において、赤外波長帯の光をより十分にカットできるため、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度がさらに向上する。
【００５９】
なお、分光フィルタ層２２１（または２２１'）及び分光フィルタ層２２２（または２２２'）を光学フィルタ２０５（または２０５'）の基板２２０の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。例えば、基板２２０の片側の面にだけ分光フィルタ層を形成した場合には、基板２２０に応力がかかり、反りが生じる。しかしながら、図５及び図１３に示したように、基板２２０の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
【００６０】
また、図５、図６及び図１３に示したように、分光フィルタ層２２２（または２２２'）を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域２１２を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することが難しくなる。光学フィルタ２０５（または２０５'）と撮像素子２０６とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
【００６１】
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ２０５（または２０５'）と撮像素子２０６を平行に接着することが可能である。この場合、赤外光透過領域２１２を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
【００６２】
なお、偏光フィルタ層２２３は、光源２０２から照射された後、フロントガラス１０５の内壁面１０５ａで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がＳ偏光成分であることが知られている。即ち、偏光フィルタ層２２３の偏光軸は、フロントガラス１０５の内壁面１０５ａの法線に対して直交する偏光方向成分（Ｓ偏光成分）の光を遮光するように形成されている。言い換えれば、偏光フィルタ層２２３は、光源２０２のフロントガラス１０５へ向かって出射する光の光軸２２と、撮像レンズ２０４の光軸２３との２つの光軸で形成される面に対して平行な偏光成分（Ｐ偏光成分）のみを透過させるように設計される。このように設計された偏光フィルタ層２２３はダッシュボードなどで反射した映りこみ光も遮断することができる。
【００６３】
なお、既に述べたように、撮像素子２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５の可視光透過領域２１１と赤外光透過領域２１２の境界と、撮像素子２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。これにより、赤外光透過領域２１２と可視光透過領域２１１の境界が明確になり、雨滴の検出精度を上げることができる。
【００６４】
光学フィルタ２０５と撮像素子２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をＵＶ接着や熱圧着してもよい。
【００６５】
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
【００６６】
ところで、図７には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置２０１は、赤外光透過領域２１２において、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を撮影するための第１の露光量（露光時間）で画像を撮影するとともに、可視光透過領域２１１において、フロントガラス１０５の外壁面１０５ｂの位置より遠方の画像を撮影するための第２の露光量（露光時間）で画像を撮影するものであってもよい。
【００６７】
可視光透過領域２１１と赤外光透過領域２１２とでは、撮影に必要な光量が異なるが、露光時間の異なる２枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
【００６８】
具体的には、遠方の画像を撮影する場合は、画像解析ユニット１０２が、可視光透過領域２１１を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、赤外光透過領域２１２を透過する光の光量を検出しながら自動露光調整すればよい。
【００６９】
なお、分光フィルタ層２２１のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置２０１においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
【００７０】
一方、分光フィルタ層２２１及び分光フィルタ層２２２（光学フィルタ２０５'においては分光フィルタ層２２２'のみ）が形成された有効撮像領域については、雨滴などの異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
【００７１】
既に述べたように、車両周辺情報検出画像領域は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
【００７２】
また、雨滴検出の結果は、例えば、車線逸脱や前方車間距離の検出などと比較して、短時間で状況が変わることはなく、また安全性としても優先度は低い。このため、第１の露光量で撮像される雨滴検出用のフレーム（以下、雨滴検出画像領域用フレームと記す）は、第２の露光量で撮像される車両周辺情報検出用のフレーム（以下、車両周辺情報検出画像領域用フレームと記す）に一定間隔で挿入されることが望ましい。
【００７３】
例えば、車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→・・・のような規則でフレームの切り換えを行うとよい。
【００７４】
次に、本実施形態における雨滴検出処理について説明する。図１５は、雨滴検出処理の手順を示すフローチャートである。まず、画像解析ユニット１０２は、光学フィルタ２０５の赤外光透過領域２１２を透過して撮像素子２０６に入射した光のＲ、Ｇ及びＢ成分の輝度値をそれぞれ取得する（ステップＳ１５０）。これらの輝度値は、２×２画素（Ｒ及びＢ成分が各１画素、Ｇ成分が２画素）ごとに、撮像素子２０６の信号処理部２０８から出力されるデジタル信号から取得される。
【００７５】
次に、画像解析ユニット１０２は、ステップＳ１５０で取得したＲ、Ｇ及びＢ成分の輝度値が飽和しているか否かを判定する（ステップＳ１５１）。このような判定を行うのは、Ｒ、Ｇ及びＢ成分の輝度値のいずれか１成分でも飽和した場合には、以降のステップにおいて色情報を適切に算出することができなくなるためである。
【００７６】
そして、Ｒ、Ｇ及びＢ成分の輝度値の少なくとも１成分が飽和している場合には、画像解析ユニット１０２は、公知の自動露光制御を行う（ステップＳ１５２）。画像解析ユニット１０２は、Ｒ、Ｇ及びＢ成分の輝度値が全て飽和しなくなるまでステップＳ１５０〜Ｓ１５２の処理を繰り返し実行する。
【００７７】
一方、Ｒ、Ｇ及びＢ成分の輝度値が全て飽和していない場合には、画像解析ユニット１０２は、下記の式（１）〜（３）に従って、ステップＳ１５０で取得したＲＧＢの輝度値からＹ（輝度情報）、Ｕ及びＶ（色情報）の値を算出する（ステップＳ１５３）。ここで、式中のＲ、Ｇ、ＢはそれぞれＲ、Ｇ及びＢ成分の輝度値である。なお、Ｙ（輝度情報）の算出は省略可能である。
【００７８】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１）
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ （２）
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ （３）
【００７９】
次に、画像解析ユニット１０２は、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色（波長情報）に対応する所定範囲内の値であるか否かを判定する（ステップＳ１５４）。ここで、判定基準となるＵ及びＶの値の範囲は、例えば光学フィルタ２０５のバンドパスフィルタの透過帯域や、光源２０２から出射される光のスペクトル幅が含まれるものであることが好ましい。
【００８０】
そして、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色に対応する所定範囲内の値である場合には、画像解析ユニット１０２は、不図示の表示手段などを介して、雨滴が検出されたことを運転者に通知する。
【００８１】
一方、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色に対応する所定範囲内の値でない場合には、画像解析ユニット１０２は、雨滴検出処理を終了する。
【００８２】
なお、ステップＳ１５３においては、ＲＧＢの輝度値からＹ、Ｕ及びＶ（色情報）の値を算出する代わりに、Ｙ（輝度情報）、Ｃｂ及びＣｒ（色情報）の値を算出してもよい。この場合には、下記の式（１）、（４）、（５）が用いられる。
【００８３】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１）
Ｃｂ＝０．５６４（Ｂ−Ｙ） （４）
Ｃｒ＝０．７１３（Ｒ−Ｙ） （５）
【００８４】
また、図１５のフローチャートに示した雨滴検出処理は、既に述べた雨滴検出画像領域用フレームの撮像が行われる度に実行されるものとする。また、色情報は上述のＵ、ＶやＣｂ、Ｃｒに限られない。例えば、ＲとＧの比やＢとＧの比など、ＲＧＢの各成分の比の値も同様に色相情報を含むため、これらの値を用いても雨滴の検出を行うことが可能である。
【００８５】
なお、一般的なカラーセンサにおいては、光源の発光波長によって異なる色温度の影響を減ずるため、光源の発光波長の色温度に合わせてＲ及びＢ成分のゲインを変更するホワイトバランス補正が行われている。しかしながら、本実施形態の画像処理システムは、光源に特有の色を検出するものであり、しかも光源の発光波長は一定であるため、上記の雨滴検出画像領域用フレームではホワイトバランス補正を行わない。一方、車両周辺情報検出画像領域用フレームではホワイトバランス補正を行う構成であってもよい。
【００８６】
以上の構成により、本実施形態の画像処理システムは、雨滴検出用の赤外光透過領域において、カラーセンサに入射した光の色情報が、光源からの光の色情報に対応する所定範囲内の値であるか否かを判定し、その判定結果に基づいて雨滴検出を行う構成となっている。この構成により、従来の分光情報（色情報）を用いないモノクロセンサを用いた構成と比較して、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【００８７】
つまり、本実施形態の画像処理システムは、撮像画像データに写っている物体の画像が、光源の発光波長により形成される画像と異なる場合には、その物体は背景画像によるものと判断することができ、フロントガラス上に存在する雨滴などの異物と区別することができる。そのため、背景画像によらず、フロントガラス上の雨滴のみを検出することが可能になる。
【００８８】
一般的に、背景画像の波長分布は太陽光、白熱電球や蛍光灯の光など人間の眼で白色に見える広い波長特性を持っており、本実施形態で用いるＬＤやＬＥＤなど単一波長の光源とは異なる。そのため、本実施形態の画像処理システムは、外光の影響と、光源により照らされたフロントガラス上の雨滴との両者を容易に区別できる。
【００８９】
以降では、光学フィルタ２０５の各部詳細について説明する。
基板２２０は、使用帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。
【００９０】
基板２２０上に形成される偏光フィルタ層２２３は、図１６に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００９１】
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００９２】
図１７は、光学フィルタ２０５の偏光フィルタ層２２３におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス１０５は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層２２３はその変化に応じた偏光軸を有することが望ましい。
【００９３】
具体的には、図１７に示すように、フロントガラス１０５の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向（溝方向）を偏光フィルタ層２２３の各場所で変化させればよい。
【００９４】
本実施形態では、偏光フィルタ層２２３をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
【００９５】
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。
【００９６】
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
【００９７】
偏光フィルタ層２２３の積層方向上面を平坦化するために用いられる充填材２２４は、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。
【００９８】
充填材２２４の具体的な材料としては、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００９９】
充填材２２４の形成方法としては、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
【０１００】
偏光フィルタ層２２３はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と撮像素子２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
【０１０１】
また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
【０１０２】
なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。
【０１０３】
本実施形態の分光フィルタ層２２１及び分光フィルタ層２２２は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。
【０１０４】
本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６を採用している。分光フィルタ層２２２は、赤外光を透過させればよいので、多層膜部分の透過波長範囲を例えば７５０ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図１２（ｂ）参照）を形成すればよい。
【０１０５】
このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６との密着接合のための樹脂や接着剤を意図するものである。
【０１０６】
既に図１１（ｂ）等に示したように、分光フィルタ層２２２は、透過波長範囲が７５０ｎｍ〜８００ｎｍであるバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）などを使用すれば、対候性の高い分光フィルタ層２２２を実現できる。
【０１０７】
本実施形態の分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【０１０８】
本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層２２１及び分光フィルタ層２２２として多層膜構造を採用しているので、光源２０２の波長と赤外光透過領域２１２の波長帯域を略一致させることが可能となる。
【０１０９】
図１８は、撮像装置２０１が有する光源２０２からの出射光の光路を示す説明図である。光源２０２からの出射光のフロントガラス１０５への入射角度は、光源２０２から出射され、雨滴と空気の境界面で反射された光が撮像素子２０６に撮像されるように設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトとしては、撮像レンズ２０４と光源２０２の光軸とが略平行となるように光源２０２が配置される例、及び、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２との交点を通るフロントガラス１０５の外壁面１０５ｂの法線１０を挟むように、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２とが配置される例が挙げられる。
【０１１０】
図１８は、上記の２つのレイアウトの後者を示している。以下、図１８を参照しながら本実施形態の画像処理システム１１０がフロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を検出する機能を説明する。なお、図１８では、撮像装置２０１が光学フィルタ２０５を備える場合を例示している。
【０１１１】
・光線Ａ
フロントガラス１０５の外壁面１０５ｂの雨滴が付着していない箇所に向かう光線Ａの光は、その一部がそのまま車両１００の外部に漏れる。残りの一部は、フロントガラス１０５の内壁面１０５ａで反射される（不図示）。
【０１１２】
・光線Ｂ
上記のように、光源２０２からの出射光のうち、その一部はフロントガラス１０５の内壁面１０５ａで反射される。既に述べたように、このような反射光の偏光成分は大部分がＳ偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ２０５内にＳ偏光成分をカットする偏光フィルタ層２２３が配置されているため、不要光を除去することが可能である。
【０１１３】
・光線Ｃ
光源２０２からの出射光のうち、フロントガラス１０５の内壁面１０５ａで反射されずにフロントガラス１０５内を透過した光の成分としては、Ｐ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外壁面１０５ｂに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置２０１側に向けて再度フロントガラス１０５内を透過して、撮像装置２０１の光学フィルタ２０５に到達する。
【０１１４】
さらに、光学フィルタ２０５に到達した光は、分光フィルタ層２２１を透過し、そのＰ偏光成分がワイヤグリッド構造の偏光フィルタ層２２３を通過する。偏光フィルタ層２２３を透過したＰ偏光成分の光（赤外光）のうち、雨滴検出用の赤外光透過領域２１２の分光フィルタ層２２２に到達した光は、分光フィルタ層２２２を透過して撮像素子２０６に入射し、図１等に示した画像解析ユニット１０２により、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。なお、偏光フィルタ層２２３を透過したＰ偏光成分の光は、可視光透過領域２１１にも入射し得るが、この領域に光源２０２が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子２０６への入射を妨げることができる。
【０１１５】
・光線Ｄ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して撮像装置２０１に到達する光のうち、赤外光透過領域２１２に到達する光は、分光フィルタ層２２１及び分光フィルタ層２２２により、その大部分がカットされる。このように、赤外光透過領域２１２は、フロントガラス１０５の外側の外乱光もカットできる構成となっている。
【０１１６】
・光線Ｅ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して可視光透過領域２１１を通過する光の成分のうち、可視光成分及び光源２０２が照射する赤外波長光の波長帯の成分のみ分光フィルタ層２２１を透過してＰ偏光成分のみとなり、不要光がカットされた状態で撮像素子２０６に到達し、車両周辺情報検出用の信号として検出される。
【０１１７】
図１９は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図１９（ａ）は雨滴がフロントガラス１０５に付着している場合、図１９（ｂ）は雨滴がフロントガラス１０５に付着していない場合の画像である。
【０１１８】
図１９中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源２０２からのＬＥＤ光が撮像素子２０６に入射し、画像解析ユニット１０２により雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Ｒａｉｎ ｄｅｔｅｃｔｅｄ！」などの表示を画像中に示すことが好ましい。
【０１１９】
一方、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していないときは、光源２０２からのＬＥＤ光は撮像素子２０６に入射しないため、画像解析ユニット１０２は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Ｒａｉｎ ｎｏｔ ｄｅｔｅｃｔｅｄ」などの表示を画像中に示すことが好ましい。
【０１２０】
画像解析ユニット１０２による上記の認識処理は、例えば、撮像素子２０６におけるＬＥＤ光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
【０１２１】
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源２０２の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
【０１２２】
以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、雨滴検出用の赤外光透過領域において、カラーセンサに入射した光の色情報が、光源からの光の色情報に対応する所定範囲内の値であるか否かを判定し、その判定結果に基づいて雨滴検出を行う構成となっている。この構成により、従来の分光情報（色情報）を用いないモノクロセンサを用いた構成と比較して、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【０１２３】
さらに、本実施形態の画像処理システム及びそれを備えた車両は、車両のフロントガラスに付着した雨滴などの異物の検出と同時に、車両周辺情報も検出することができる。特に、カラーセンサが車両周辺情報検出用の可視光透過領域に形成されている場合には、先行車両の赤いテールランプや、青色の道路標識の識別精度を向上させることができる。
【符号の説明】
【０１２４】
１０ 法線
２２、２３ 光軸
１００ 車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０５ａ 内壁面（一方の面）
１０５ｂ 外壁面（他方の面）
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
２０１ 撮像装置
２０２ 光源
２０３ 雨滴（異物）
２０３ａ 背景画像
２０４ 撮像レンズ
２０５、２０５' 光学フィルタ
２０６ 撮像素子
２０６Ａ フォトダイオード（受光素子）
２０６Ｂ マイクロレンズ
２０６Ｃ カラーフィルタ
２０６Ｄ カラーセンサ
２０７ センサ基板
２０８ 信号処理部
２１０ カバー
２１１ 可視光透過領域
２１２ 赤外光透過領域
２１３ 車両周辺情報検出画像領域（第２の画像領域）
２１４ 雨滴検出画像領域（第１の画像領域）
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層
２２４ 充填材
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特許第４３２６９９９号明細書
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を光学的に検出する画像処理システム及びそれを備えた車両に関する。
【背景技術】
【０００２】
近年、自動車等の車両に、車両の周辺情報を取得するためのセンシング用のカメラと、車両のフロントガラスに付着した雨滴を検出するための雨滴検出用のカメラを兼用させた画像処理システムが搭載されるようになってきている（例えば、特許文献１参照）。このような画像処理システムは、例えば、車両のフロントガラスに付着した雨滴をワイパーにより自動的に除去するシステムに用いられる。
【０００３】
特許文献１には、センシング用のカメラと雨滴検出用のカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像して、刻々と変わる外光に追従するため、光源の発光強度を変化させる構成を備えた画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理システムは、撮像画像の輝度情報に基づいて雨滴からの反射光を検出するものであり、その検出結果は外光の影響を受けやすく、検出精度が十分ではないという問題があった。
【０００５】
本発明は、このような従来の課題を解決するためになされたものであって、外光の影響を抑えて、雨滴検出の精度を向上させた画像処理システム及びそれを備えた車両を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理システムは、透明部材の一方の面側から該透明部材に向けて光を照射する光源と、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子と、前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、前記撮像素子で撮像された撮像画像データを解析する画像解析手段と、を備え、前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする。
【０００７】
この構成により、有効撮像領域の所定領域に入射した光の分光情報に、光源からの光の波長情報が含まれているか否かを判定し、その判定結果に基づいて雨滴検出を行うため、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【発明の効果】
【０００８】
本発明は、外光の影響を抑えて、雨滴検出の精度を向上させた画像処理システム及びそれを備えた車両を提供するものである。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図
【図２】本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図
【図３】撮像ユニットが有する撮像装置の概略構成を示す模式図
【図４】雨滴検出用の撮像画像データである赤外光画像データを示す説明図
【図５】光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図
【図６】光学フィルタの有効撮像領域の領域分割を説明するための正面模式図
【図７】撮像画像を例示する説明図
【図８】有効撮像領域におけるカラーフィルタの構成を撮像レンズ側から見た模式図
【図９】光学フィルタの領域分割とカラーフィルタの画素の対応を例示する模式図
【図１０】カラーフィルタの分光特性を示すグラフ
【図１１】第１及び第２の分光フィルタ層の分光特性を示すグラフ
【図１２】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１３】光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図
【図１４】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１５】雨滴検出処理の手順を示すフローチャート
【図１６】偏光フィルタ層を構成するワイヤグリッド構造の拡大図
【図１７】偏光フィルタ層におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図
【図１８】撮像装置が有する光源からの出射光の光路を示す説明図
【図１９】本発明者らが行った実験結果の画像を示す説明図
【発明を実施するための形態】
【００１０】
以下、本発明に係る画像処理システム及びそれを備えた車両の実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
【００１１】
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。
【００１２】
図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。
【００１３】
本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。
【００１４】
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。なお、以降では、車両１００の前方の他車両の位置、方角、距離、並びに、路面上の白線（区画線）等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。
【００１５】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１６】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１７】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１８】
図２は、本実施形態に係る画像処理システム１１０が備える撮像ユニット１０１の概略構成を示す模式図である。図２に示すように、撮像ユニット１０１は、車両１００内に固定されるカバー２１０と、撮像装置２０１と、車両１００のフロントガラス１０５の内壁面（一方の面）１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、を有する。撮像装置２０１及び光源２０２はカバー２１０の内部に収容される。なお、図２は、カバー２１０内に１つの光源２０２が収容された例を図示しているが、光源の個数は１つに限定されるものではなく、複数個であってもよい。
【００１９】
図３は、撮像ユニット１０１が有する撮像装置２０１の概略構成を示す模式図である。撮像装置２０１は、主に、フロントガラス１０５の外壁面（他方の面）１０５ｂに付着した異物（以下、異物が雨滴である場合を例に挙げて説明する。）２０３によって反射された光源２０２（図２参照）からの光、及び、車両１００の外部から（外壁面１０５ｂ側から）フロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、から構成されている。
【００２０】
なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図３は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像装置２０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、そのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。
【００２１】
光源２０２は、撮像レンズ２０４の画角範囲と光源２０２の照射領域とがフロントガラス１０５の内壁面１０５ａで重なるように配置される。なお、光源２０２としてはアイセーフ帯の波長及び光量の光源を使用する。撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。
【００２２】
光源２０２は、フロントガラス１０５の外壁面１０５ｂに付着した雨滴を検出するためのものである。フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着している場合、光源２０２が発した光は、雨滴２０３と空気の界面で反射し、その反射光は撮像装置２０１に入射する。一方、フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着していない場合、光源２０２から照射された光は、その一部がフロントガラス１０５を透過して外部に漏れ、残りの光がフロントガラス１０５の内壁面１０５ａ、あるいは、外壁面１０５ｂと外気との界面で反射し、その反射光が撮像装置２０１へ入射する。
【００２３】
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光領域や赤外光領域の波長であるとよい。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長、例えば７５０ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。以降では、光源２０２が赤外光領域の波長の光を照射する場合を例に挙げて説明する。
【００２４】
なお、光源２０２は、連続発光（ＣＷ発光）を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタイミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
【００２５】
被写体（検出対象物）を含む撮像範囲からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に変換される。ここで、被写体（検出対象物）とは、車両１００の前方の風景や、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物である。信号処理部２０８では、撮像素子２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、撮像素子２０６上における各画素の輝度情報及び色情報を含むデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００２６】
既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２０１の撮像画像データから適切な情報を取得することができる。
【００２７】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス１０５との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高くなる。
【００２８】
図４は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図４（ａ）はフロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ｂ）は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
【００２９】
フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ａ）に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４（ａ）に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
【００３０】
これに対し、無限遠に焦点が合っている場合には、図４（ｂ）に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高くなる。
【００３１】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３２】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２０１で撮像する際、撮像装置２０１の撮像素子２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００３３】
そこで、本実施形態においては、例えば、光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を撮像素子２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、撮像素子２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
【００３４】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出画像領域（第１の画像領域）と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域（第２の画像領域）と、に分割し、雨滴検出画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する構成としている。
【００３５】
図５は、光学フィルタ２０５、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。
【００３６】
光学フィルタ２０５は、図５に示したように、使用帯域（本実施形態では可視光領域と赤外光領域）の光に対して透明な基板２２０と、基板２２０上の撮像レンズ２０４側の有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、基板２２０上の撮像素子２０６側の有効撮像領域の一部に、上記偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層（第２の分光フィルタ層）２２２と、を有し、分光フィルタ層２２２の撮像素子２０６側の面が撮像素子２０６に密着接合されてなる。
【００３７】
即ち、光学フィルタ２０５は、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。
【００３８】
図６は、分光フィルタ層２２１及び分光フィルタ層２２２を有する光学フィルタ２０５の有効撮像領域の領域分割を説明するための正面模式図である。図６に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域２１１と、上記の雨滴検出画像領域に対応する赤外光透過領域２１２とに、領域分割されている。
【００３９】
例えば、可視光透過領域２１１は有効撮像領域の中央部１／２の領域であり、一方、赤外光透過領域２１２は有効撮像領域の上部及び下部の領域であるとよい。あるいは、赤外光透過領域２１２は、有効撮像領域の上部、下部、または側部に設けられてもよいが、図６に示したように有効撮像領域の上部及び下部に設けられることが特に好ましい。以下、その理由について説明する。図７は、撮像画像データを例示する図である。
【００４０】
対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
【００４１】
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴２０３の検出とを両立して行う場合には、図７に示すように、撮像画像の中央部を車両周辺情報検出画像領域２１３とし、撮像画像の上部及び下部をそれぞれ雨滴検出画像領域２１４とすることが好適である。即ち、図６に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域２１２とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域２１１とし、これに対応して分光フィルタ層２２２を領域分割するのが好適である。
【００４２】
なお、有効撮像領域のうち、充填材２２４上の分光フィルタ層２２２が形成されていない領域に、光源２０２が照射する赤外波長光をカットするフィルタが形成されていてもよい。
【００４３】
撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側には、フォトダイオード２０６Ａの各画素に対応してマイクロレンズ２０６Ｂが設けられている。この撮像素子２０６がワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７が形成されている。
【００４４】
さらに、撮像素子２０６は、フォトダイオード２０６Ａとマイクロレンズ２０６Ｂとの間にカラーフィルタ２０６Ｃを有する。ここで、フォトダイオード２０６Ａとカラーフィルタ２０６Ｃとからなる構成をカラーセンサ２０６Ｄとも呼ぶ。カラーセンサ２０６Ｄは、有効撮像領域の少なくとも赤外光透過領域２１２に入射した光の分光情報を取得するためのカラーセンサとして機能する。
【００４５】
図８は、有効撮像領域におけるカラーフィルタ２０６Ｃの構成を、撮像レンズ２０４側から見た模式図である。また、図９は、光学フィルタ２０５の領域分割とカラーフィルタ２０６Ｃの画素の対応を例示する模式図である。カラーフィルタ２０６Ｃとしては、フォトダイオード２０６Ａの各画素に対応して、Ｒ、Ｇ及びＢの各原色のフィルタが正方格子状に配置されたベイヤー配列のフィルタ（図８（ａ））、または、補色（グリーン、マゼンタ、イエロー、シアンの４色）が正方格子状に配置された色差順次配列のフィルタ（図８（ｂ））などを用いることができる。
【００４６】
なお、図８及び図９ではカラーフィルタ２０６Ｃ（カラーセンサ２０６Ｄ）の各画素を簡略化して描いているが、実際にはカラーフィルタ２０６Ｃ（カラーセンサ２０６Ｄ）は２次元配置された数十万個程度の画素で構成されている。
【００４７】
図１０は、カラーフィルタ２０６Ｃの分光特性を示すグラフである。このグラフは、光源２０２の発光波長がカラーセンサ２０６Ｄ上でどのような色として検出されるかを示すものである。ここでは、カラーフィルタ２０６Ｃが、図８（ａ）に示したようなベイヤー配列のフィルタであるとしている。図１０においては、カラーセンサ２０６Ｄで検出された各色の成分のうち、Ｒ成分は実線、Ｇ成分は破線、Ｂ成分は一点鎖線で示されている。
【００４８】
ここで、例えば、光源２０２の発光波長が９５０ｎｍである場合には、Ｒ、Ｇ及びＢ成分の全てについてカラーフィルタ２０６Ｃの透過率に差が出ず、光源２０２から出射される光に特有の色（波長情報）を検出することが難しくなる。また、Ｒ、Ｇ及びＢ成分のいずれか２成分が同じ感度を持つ発光波長（例えば、５９０ｎｍ、６６０ｎｍ、８２０ｎｍ付近）についても、光源２０２に特有の色が出にくい。
【００４９】
つまり、外光に影響されずに光源２０２に特有の色を検出するためには、Ｒ、Ｇ及びＢ成分に感度の差があるとともに、他車両のテールランプの光などの赤色光の波長帯とほとんど重ならない７５０ｎｍ以上８００ｎｍ以下の波長帯域に光源２０２の発光波長を設定することが望ましい。
【００５０】
図１１は、分光フィルタ層２２１及び分光フィルタ層２２２の分光特性を示すグラフである。分光フィルタ層２２１は、図１１（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光と、波長範囲７５０ｎｍ〜８００ｎｍ（ここでは、λ３＝７５０ｎｍ、λ４＝８００ｎｍ）の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
【００５１】
ただし、本実施形態の撮像素子２０６を構成する各カラーセンサ２０６Ｄは、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層２２１が、波長範囲６７０ｎｍ〜７５０ｎｍの赤外光を透過させないようになっている（透過率５％以下が望ましい）。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００５２】
また、分光フィルタ層２２２は、図１１（ｂ）に示すように波長範囲７５０ｎｍ〜８００ｎｍの赤外光領域を透過帯としている。従って、光学フィルタ２０５は、分光フィルタ層２２２と上述の分光フィルタ層２２１との組合せにより、波長範囲７５０ｎｍ（＝λ３）〜８００ｎｍ（＝λ４）の範囲の光のみを透過させることとなる。なお、この波長範囲λ３〜λ４における透過率のピークと光源２０２の発光波長が略同等であること（あるいは、発光波長が波長範囲λ３〜λ４に含まれること）が望ましい。
【００５３】
なお、分光フィルタ層２２１は、図１１（ａ）に示す分光特性に代えて、図１２（ａ）に示す分光特性を有するものであってもよい。また、分光フィルタ層２２２は、図１１（ｂ）に示す分光特性（透過率のピークが光源２０２の発光波長と略一致したバンドパスフィルタを含む特性）に代えて、図１２（ｂ）に示す分光特性を有するものであってもよい。つまり、分光フィルタ層２２２の分光特性は、光源２０２の発光波長よりも短波長側の光をカットする特性であってもよい。
【００５４】
ところで、撮像装置２０１の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜７５０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００５５】
図１３に、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度をさらに向上させるための光学フィルタの他の構成を示す。即ち、光学フィルタ２０５'は、図５に示した光学フィルタ２０５の分光フィルタ層２２１及び分光フィルタ層２２２に代えて、基板２２０上の撮像レンズ２０４側の可視光透過領域２１１に形成され、波長λ１〜λ２（λ１＜λ２）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１'と、基板２２０上の撮像素子２０６側の赤外光透過領域２１２に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層２２２'（第２の分光フィルタ層）と、を有するものであってもよい。
【００５６】
図１４は、上記の光学フィルタ２０５'の分光特性を示すグラフである。分光フィルタ層２２１'は、図１４（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光を透過させる。
【００５７】
一方、分光フィルタ層２２２'は、図１４（ｂ）に示すような波長範囲７５０ｎｍ〜８００ｎｍの赤外光領域を透過帯域とするバンドパスフィルタ型の分光特性を有するものであってもよく、図１４（ｃ）に示すような波長７５０ｎｍよりも短波長側の光をカットする分光特性を有するものであってもよい。
【００５８】
上記の構成の光学フィルタ２０５'を用いることにより、撮像画像データの車両周辺情報検出画像領域において、赤外波長帯の光をより十分にカットできるため、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度がさらに向上する。
【００５９】
なお、分光フィルタ層２２１（または２２１'）及び分光フィルタ層２２２（または２２２'）を光学フィルタ２０５（または２０５'）の基板２２０の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。例えば、基板２２０の片側の面にだけ分光フィルタ層を形成した場合には、基板２２０に応力がかかり、反りが生じる。しかしながら、図５及び図１３に示したように、基板２２０の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
【００６０】
また、図５、図６及び図１３に示したように、分光フィルタ層２２２（または２２２'）を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域２１２を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することが難しくなる。光学フィルタ２０５（または２０５'）と撮像素子２０６とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
【００６１】
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ２０５（または２０５'）と撮像素子２０６を平行に接着することが可能である。この場合、赤外光透過領域２１２を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
【００６２】
なお、偏光フィルタ層２２３は、光源２０２から照射された後、フロントガラス１０５の内壁面１０５ａで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がＳ偏光成分であることが知られている。即ち、偏光フィルタ層２２３の偏光軸は、フロントガラス１０５の内壁面１０５ａの法線に対して直交する偏光方向成分（Ｓ偏光成分）の光を遮光するように形成されている。言い換えれば、偏光フィルタ層２２３は、光源２０２のフロントガラス１０５へ向かって出射する光の光軸２２と、撮像レンズ２０４の光軸２３との２つの光軸で形成される面に対して平行な偏光成分（Ｐ偏光成分）のみを透過させるように設計される。このように設計された偏光フィルタ層２２３はダッシュボードなどで反射した映りこみ光も遮断することができる。
【００６３】
なお、既に述べたように、撮像素子２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５の可視光透過領域２１１と赤外光透過領域２１２の境界と、撮像素子２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。これにより、赤外光透過領域２１２と可視光透過領域２１１の境界が明確になり、雨滴の検出精度を上げることができる。
【００６４】
光学フィルタ２０５と撮像素子２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をＵＶ接着や熱圧着してもよい。
【００６５】
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
【００６６】
ところで、図７には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置２０１は、赤外光透過領域２１２において、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を撮影するための第１の露光量（露光時間）で画像を撮影するとともに、可視光透過領域２１１において、フロントガラス１０５の外壁面１０５ｂの位置より遠方の画像を撮影するための第２の露光量（露光時間）で画像を撮影するものであってもよい。
【００６７】
可視光透過領域２１１と赤外光透過領域２１２とでは、撮影に必要な光量が異なるが、露光時間の異なる２枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
【００６８】
具体的には、遠方の画像を撮影する場合は、画像解析ユニット１０２が、可視光透過領域２１１を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、赤外光透過領域２１２を透過する光の光量を検出しながら自動露光調整すればよい。
【００６９】
なお、分光フィルタ層２２１のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置２０１においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
【００７０】
一方、分光フィルタ層２２１及び分光フィルタ層２２２（光学フィルタ２０５'においては分光フィルタ層２２２'のみ）が形成された有効撮像領域については、雨滴などの異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
【００７１】
既に述べたように、車両周辺情報検出画像領域は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
【００７２】
また、雨滴検出の結果は、例えば、車線逸脱や前方車間距離の検出などと比較して、短時間で状況が変わることはなく、また安全性としても優先度は低い。このため、第１の露光量で撮像される雨滴検出用のフレーム（以下、雨滴検出画像領域用フレームと記す）は、第２の露光量で撮像される車両周辺情報検出用のフレーム（以下、車両周辺情報検出画像領域用フレームと記す）に一定間隔で挿入されることが望ましい。
【００７３】
例えば、車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→・・・のような規則でフレームの切り換えを行うとよい。
【００７４】
次に、本実施形態における雨滴検出処理について説明する。図１５は、雨滴検出処理の手順を示すフローチャートである。まず、画像解析ユニット１０２は、光学フィルタ２０５の赤外光透過領域２１２を透過して撮像素子２０６に入射した光のＲ、Ｇ及びＢ成分の輝度値をそれぞれ取得する（ステップＳ１５０）。これらの輝度値は、２×２画素（Ｒ及びＢ成分が各１画素、Ｇ成分が２画素）ごとに、撮像素子２０６の信号処理部２０８から出力されるデジタル信号から取得される。
【００７５】
次に、画像解析ユニット１０２は、ステップＳ１５０で取得したＲ、Ｇ及びＢ成分の輝度値が飽和しているか否かを判定する（ステップＳ１５１）。このような判定を行うのは、Ｒ、Ｇ及びＢ成分の輝度値のいずれか１成分でも飽和した場合には、以降のステップにおいて色情報を適切に算出することができなくなるためである。
【００７６】
そして、Ｒ、Ｇ及びＢ成分の輝度値の少なくとも１成分が飽和している場合には、画像解析ユニット１０２は、公知の自動露光制御を行う（ステップＳ１５２）。画像解析ユニット１０２は、Ｒ、Ｇ及びＢ成分の輝度値が全て飽和しなくなるまでステップＳ１５０〜Ｓ１５２の処理を繰り返し実行する。
【００７７】
一方、Ｒ、Ｇ及びＢ成分の輝度値が全て飽和していない場合には、画像解析ユニット１０２は、下記の式（１）〜（３）に従って、ステップＳ１５０で取得したＲＧＢの輝度値からＹ（輝度情報）、Ｕ及びＶ（色情報）の値を算出する（ステップＳ１５３）。ここで、式中のＲ、Ｇ、ＢはそれぞれＲ、Ｇ及びＢ成分の輝度値である。なお、Ｙ（輝度情報）の算出は省略可能である。
【００７８】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１）
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ （２）
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ （３）
【００７９】
次に、画像解析ユニット１０２は、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色（波長情報）に対応する所定範囲内の値であるか否かを判定する（ステップＳ１５４）。ここで、判定基準となるＵ及びＶの値の範囲は、例えば光学フィルタ２０５のバンドパスフィルタの透過帯域や、光源２０２から出射される光のスペクトル幅が含まれるものであることが好ましい。
【００８０】
そして、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色に対応する所定範囲内の値である場合には、画像解析ユニット１０２は、不図示の表示手段などを介して、雨滴が検出されたことを運転者に通知する。
【００８１】
一方、ステップＳ１５３で算出したＵ及びＶの値（色情報）が、光源２０２から出射される光に特有の色に対応する所定範囲内の値でない場合には、画像解析ユニット１０２は、雨滴検出処理を終了する。
【００８２】
なお、ステップＳ１５３においては、ＲＧＢの輝度値からＹ、Ｕ及びＶ（色情報）の値を算出する代わりに、Ｙ（輝度情報）、Ｃｂ及びＣｒ（色情報）の値を算出してもよい。この場合には、下記の式（１）、（４）、（５）が用いられる。
【００８３】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ （１）
Ｃｂ＝０．５６４（Ｂ−Ｙ） （４）
Ｃｒ＝０．７１３（Ｒ−Ｙ） （５）
【００８４】
また、図１５のフローチャートに示した雨滴検出処理は、既に述べた雨滴検出画像領域用フレームの撮像が行われる度に実行されるものとする。また、色情報は上述のＵ、ＶやＣｂ、Ｃｒに限られない。例えば、ＲとＧの比やＢとＧの比など、ＲＧＢの各成分の比の値も同様に色相情報を含むため、これらの値を用いても雨滴の検出を行うことが可能である。
【００８５】
なお、一般的なカラーセンサにおいては、光源の発光波長によって異なる色温度の影響を減ずるため、光源の発光波長の色温度に合わせてＲ及びＢ成分のゲインを変更するホワイトバランス補正が行われている。しかしながら、本実施形態の画像処理システムは、光源に特有の色を検出するものであり、しかも光源の発光波長は一定であるため、上記の雨滴検出画像領域用フレームではホワイトバランス補正を行わない。一方、車両周辺情報検出画像領域用フレームではホワイトバランス補正を行う構成であってもよい。
【００８６】
以上の構成により、本実施形態の画像処理システムは、雨滴検出用の赤外光透過領域において、カラーセンサに入射した光の色情報が、光源からの光の色情報に対応する所定範囲内の値であるか否かを判定し、その判定結果に基づいて雨滴検出を行う構成となっている。この構成により、従来の分光情報（色情報）を用いないモノクロセンサを用いた構成と比較して、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【００８７】
つまり、本実施形態の画像処理システムは、撮像画像データに写っている物体の画像が、光源の発光波長により形成される画像と異なる場合には、その物体は背景画像によるものと判断することができ、フロントガラス上に存在する雨滴などの異物と区別することができる。そのため、背景画像によらず、フロントガラス上の雨滴のみを検出することが可能になる。
【００８８】
一般的に、背景画像の波長分布は太陽光、白熱電球や蛍光灯の光など人間の眼で白色に見える広い波長特性を持っており、本実施形態で用いるＬＤやＬＥＤなど単一波長の光源とは異なる。そのため、本実施形態の画像処理システムは、外光の影響と、光源により照らされたフロントガラス上の雨滴との両者を容易に区別できる。
【００８９】
以降では、光学フィルタ２０５の各部詳細について説明する。
基板２２０は、使用帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。
【００９０】
基板２２０上に形成される偏光フィルタ層２２３は、図１６に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００９１】
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００９２】
図１７は、光学フィルタ２０５の偏光フィルタ層２２３におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス１０５は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層２２３はその変化に応じた偏光軸を有することが望ましい。
【００９３】
具体的には、図１７に示すように、フロントガラス１０５の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向（溝方向）を偏光フィルタ層２２３の各場所で変化させればよい。
【００９４】
本実施形態では、偏光フィルタ層２２３をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
【００９５】
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。
【００９６】
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
【００９７】
偏光フィルタ層２２３の積層方向上面を平坦化するために用いられる充填材２２４は、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。
【００９８】
充填材２２４の具体的な材料としては、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００９９】
充填材２２４の形成方法としては、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
【０１００】
偏光フィルタ層２２３はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と撮像素子２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
【０１０１】
また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
【０１０２】
なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。
【０１０３】
本実施形態の分光フィルタ層２２１及び分光フィルタ層２２２は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。
【０１０４】
本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６を採用している。分光フィルタ層２２２は、赤外光を透過させればよいので、多層膜部分の透過波長範囲を例えば７５０ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図１２（ｂ）参照）を形成すればよい。
【０１０５】
このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６との密着接合のための樹脂や接着剤を意図するものである。
【０１０６】
既に図１１（ｂ）等に示したように、分光フィルタ層２２２は、透過波長範囲が７５０ｎｍ〜８００ｎｍであるバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）などを使用すれば、対候性の高い分光フィルタ層２２２を実現できる。
【０１０７】
本実施形態の分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【０１０８】
本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層２２１及び分光フィルタ層２２２として多層膜構造を採用しているので、光源２０２の波長と赤外光透過領域２１２の波長帯域を略一致させることが可能となる。
【０１０９】
図１８は、撮像装置２０１が有する光源２０２からの出射光の光路を示す説明図である。光源２０２からの出射光のフロントガラス１０５への入射角度は、光源２０２から出射され、雨滴と空気の境界面で反射された光が撮像素子２０６に撮像されるように設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトとしては、撮像レンズ２０４と光源２０２の光軸とが略平行となるように光源２０２が配置される例、及び、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２との交点を通るフロントガラス１０５の外壁面１０５ｂの法線１０を挟むように、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２とが配置される例が挙げられる。
【０１１０】
図１８は、上記の２つのレイアウトの後者を示している。以下、図１８を参照しながら本実施形態の画像処理システム１１０がフロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を検出する機能を説明する。なお、図１８では、撮像装置２０１が光学フィルタ２０５を備える場合を例示している。
【０１１１】
・光線Ａ
フロントガラス１０５の外壁面１０５ｂの雨滴が付着していない箇所に向かう光線Ａの光は、その一部がそのまま車両１００の外部に漏れる。残りの一部は、フロントガラス１０５の内壁面１０５ａで反射される（不図示）。
【０１１２】
・光線Ｂ
上記のように、光源２０２からの出射光のうち、その一部はフロントガラス１０５の内壁面１０５ａで反射される。既に述べたように、このような反射光の偏光成分は大部分がＳ偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ２０５内にＳ偏光成分をカットする偏光フィルタ層２２３が配置されているため、不要光を除去することが可能である。
【０１１３】
・光線Ｃ
光源２０２からの出射光のうち、フロントガラス１０５の内壁面１０５ａで反射されずにフロントガラス１０５内を透過した光の成分としては、Ｐ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外壁面１０５ｂに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置２０１側に向けて再度フロントガラス１０５内を透過して、撮像装置２０１の光学フィルタ２０５に到達する。
【０１１４】
さらに、光学フィルタ２０５に到達した光は、分光フィルタ層２２１を透過し、そのＰ偏光成分がワイヤグリッド構造の偏光フィルタ層２２３を通過する。偏光フィルタ層２２３を透過したＰ偏光成分の光（赤外光）のうち、雨滴検出用の赤外光透過領域２１２の分光フィルタ層２２２に到達した光は、分光フィルタ層２２２を透過して撮像素子２０６に入射し、図１等に示した画像解析ユニット１０２により、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。なお、偏光フィルタ層２２３を透過したＰ偏光成分の光は、可視光透過領域２１１にも入射し得るが、この領域に光源２０２が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子２０６への入射を妨げることができる。
【０１１５】
・光線Ｄ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して撮像装置２０１に到達する光のうち、赤外光透過領域２１２に到達する光は、分光フィルタ層２２１及び分光フィルタ層２２２により、その大部分がカットされる。このように、赤外光透過領域２１２は、フロントガラス１０５の外側の外乱光もカットできる構成となっている。
【０１１６】
・光線Ｅ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して可視光透過領域２１１を通過する光の成分のうち、可視光成分及び光源２０２が照射する赤外波長光の波長帯の成分のみ分光フィルタ層２２１を透過してＰ偏光成分のみとなり、不要光がカットされた状態で撮像素子２０６に到達し、車両周辺情報検出用の信号として検出される。
【０１１７】
図１９は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図１９（ａ）は雨滴がフロントガラス１０５に付着している場合、図１９（ｂ）は雨滴がフロントガラス１０５に付着していない場合の画像である。
【０１１８】
図１９中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源２０２からのＬＥＤ光が撮像素子２０６に入射し、画像解析ユニット１０２により雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Ｒａｉｎ ｄｅｔｅｃｔｅｄ！」などの表示を画像中に示すことが好ましい。
【０１１９】
一方、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していないときは、光源２０２からのＬＥＤ光は撮像素子２０６に入射しないため、画像解析ユニット１０２は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Ｒａｉｎ ｎｏｔ ｄｅｔｅｃｔｅｄ」などの表示を画像中に示すことが好ましい。
【０１２０】
画像解析ユニット１０２による上記の認識処理は、例えば、撮像素子２０６におけるＬＥＤ光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
【０１２１】
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源２０２の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
【０１２２】
以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、雨滴検出用の赤外光透過領域において、カラーセンサに入射した光の色情報が、光源からの光の色情報に対応する所定範囲内の値であるか否かを判定し、その判定結果に基づいて雨滴検出を行う構成となっている。この構成により、従来の分光情報（色情報）を用いないモノクロセンサを用いた構成と比較して、外光の影響を抑えて、雨滴検出の精度を向上させることができる。
【０１２３】
さらに、本実施形態の画像処理システム及びそれを備えた車両は、車両のフロントガラスに付着した雨滴などの異物の検出と同時に、車両周辺情報も検出することができる。特に、カラーセンサが車両周辺情報検出用の可視光透過領域に形成されている場合には、先行車両の赤いテールランプや、青色の道路標識の識別精度を向上させることができる。
【符号の説明】
【０１２４】
１０ 法線
２２、２３ 光軸
１００ 車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０５ａ 内壁面（一方の面）
１０５ｂ 外壁面（他方の面）
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
２０１ 撮像装置
２０２ 光源
２０３ 雨滴（異物）
２０３ａ 背景画像
２０４ 撮像レンズ
２０５、２０５' 光学フィルタ
２０６ 撮像素子
２０６Ａ フォトダイオード（受光素子）
２０６Ｂ マイクロレンズ
２０６Ｃ カラーフィルタ
２０６Ｄ カラーセンサ
２０７ センサ基板
２０８ 信号処理部
２１０ カバー
２１１ 可視光透過領域
２１２ 赤外光透過領域
２１３ 車両周辺情報検出画像領域（第２の画像領域）
２１４ 雨滴検出画像領域（第１の画像領域）
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層
２２４ 充填材
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特許第４３２６９９９号明細書
【特許請求の範囲】
【請求項１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子と、
前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像素子で撮像された撮像画像データを解析する画像解析手段と、を備え、
前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、
前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする画像処理システム。
【請求項２】
前記撮像画像データは、前記有効撮像領域の前記所定領域に対応する第１の画像領域と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域と、に分割されており、
前記画像解析手段は、前記第１の画像領域の色情報に基づいて、前記透明部材に付着した異物の検出を行うことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記有効撮像領域の前記所定領域において前記透明部材の前記他方の面に付着した異物の画像を第１の露光量で撮影するとともに、前記所定領域以外の前記有効撮像領域において前記透明部材の前記他方の面の位置より遠方の画像を第２の露光量で撮影することを特徴とする請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記画像解析手段は、前記撮像素子からの各画素の出力が飽和しない値に前記第１の露光量を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理システム。
【請求項５】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項６】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記所定領域以外の前記有効撮像領域に形成され、波長λ１〜λ２（λ１＜λ２）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項７】
前記波長λ３〜λ４の範囲に前記光源の発光波長が含まれることを特徴とする請求項５又は請求項６に記載の画像処理システム。
【請求項８】
前記所定領域は、前記有効撮像領域の上部及び下部に配置されることを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。
【請求項９】
画像処理システムと、
フロントガラスに付着した異物を除去するためのワイパーと、
前記画像処理システムが備える画像解析手段の異物検出結果を受けて、前記ワイパーを制御するための制御信号を生成するワイパー制御ユニットと、を備え、
前記画像処理システムは、
前記フロントガラスの一方の面側から該フロントガラスに向けて光を照射する光源と、
前記フロントガラスの他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記フロントガラスを透過した光を撮像する撮像素子と、
前記フロントガラスと前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像素子で撮像された撮像画像データを解析する前記画像解析手段と、を備え、
前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、
前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする車両。
【請求項１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子と、
前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像素子で撮像された撮像画像データを解析する画像解析手段と、を備え、
前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、
前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする画像処理システム。
【請求項２】
前記撮像画像データは、前記有効撮像領域の前記所定領域に対応する第１の画像領域と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域と、に分割されており、
前記画像解析手段は、前記第１の画像領域の色情報に基づいて、前記透明部材に付着した異物の検出を行うことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記有効撮像領域の前記所定領域において前記透明部材の前記他方の面に付着した異物の画像を第１の露光量で撮影するとともに、前記所定領域以外の前記有効撮像領域において前記透明部材の前記他方の面の位置より遠方の画像を第２の露光量で撮影することを特徴とする請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記画像解析手段は、前記撮像素子からの各画素の出力が飽和しない値に前記第１の露光量を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理システム。
【請求項５】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項６】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記所定領域以外の前記有効撮像領域に形成され、波長λ１〜λ２（λ１＜λ２）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項７】
前記波長λ３〜λ４の範囲に前記光源の発光波長が含まれることを特徴とする請求項５又は請求項６に記載の画像処理システム。
【請求項８】
前記所定領域は、前記有効撮像領域の上部及び下部に配置されることを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。
【請求項９】
画像処理システムと、
フロントガラスに付着した異物を除去するためのワイパーと、
前記画像処理システムが備える画像解析手段の異物検出結果を受けて、前記ワイパーを制御するための制御信号を生成するワイパー制御ユニットと、を備え、
前記画像処理システムは、
前記フロントガラスの一方の面側から該フロントガラスに向けて光を照射する光源と、
前記フロントガラスの他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記フロントガラスを透過した光を撮像する撮像素子と、
前記フロントガラスと前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像素子で撮像された撮像画像データを解析する前記画像解析手段と、を備え、
前記撮像素子は、前記有効撮像領域の少なくとも前記所定領域に入射した光の分光情報を取得するためのセンサを有し、
前記画像解析手段は、前記分光情報に前記光源からの光の波長情報が含まれているか否かを判定することにより、前記撮像画像データから前記透明部材に付着した異物を検出することを特徴とする車両。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図４】
【図１６】
【図１９】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図４】
【図１６】
【図１９】
【公開番号】特開２０１３−１１３７１９（Ｐ２０１３−１１３７１９Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０３００（Ｐ２０１１−２６０３００）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]