画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
【課題】低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムを提供する。
【解決手段】フロントガラス１０５に向けて光を照射する光源２０２と、フロントガラス１０５に付着した雨滴２０３によって反射された光源２０２からの光、及び、車両外部からフロントガラス１０５を透過した光を撮像する撮像装置２０１と、撮像装置２０１で撮像された撮像画像データを解析する画像解析ユニット１０２と、を備え、撮像画像データは、雨滴検出用のフレーム及び車両周辺情報検出用のフレームからなり、画像解析ユニット１０２は、撮像装置２０１における雨滴検出用のフレームの読み出し規則を、車両周辺情報検出用のフレームの読み出し規則と異ならせる。
【解決手段】フロントガラス１０５に向けて光を照射する光源２０２と、フロントガラス１０５に付着した雨滴２０３によって反射された光源２０２からの光、及び、車両外部からフロントガラス１０５を透過した光を撮像する撮像装置２０１と、撮像装置２０１で撮像された撮像画像データを解析する画像解析ユニット１０２と、を備え、撮像画像データは、雨滴検出用のフレーム及び車両周辺情報検出用のフレームからなり、画像解析ユニット１０２は、撮像装置２０１における雨滴検出用のフレームの読み出し規則を、車両周辺情報検出用のフレームの読み出し規則と異ならせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を光学的に検出する画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、自動車等の車両に、車両の周辺情報を取得するためのセンシング用のカメラと、車両のフロントガラスに付着した雨滴を検出するための雨滴検出用のカメラを兼用させた画像処理システムが搭載されるようになってきている（例えば、特許文献１参照）。このような画像処理システムは、例えば、車両のフロントガラスに付着した雨滴をワイパーにより自動的に除去するシステムに用いられる。
【０００３】
特許文献１には、センシング用のカメラと雨滴検出用のカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像する画像処理システムが開示されている。この画像処理システムでは、光学フィルタの一部に雨滴を検出するためのバンドパスフィルタを設けている。通常、撮影画像の一部分のみで露光量を変化させることは困難なため、バンドパスフィルタのない、外光の影響を受ける部分に露光を合わせ、バンドパスフィルタがある部分もその露光値に合わせるために、光源の発光強度を変化させる構成になっている。
【０００４】
しかしながら、車両の外部からカメラへ入射する光の光量は、例えば昼と夜、また天候などにより大きく変化する。その変化量は０．１ルクスから１０万ルクス程度もあり非常に大きい。上記の画像処理システムでは、光源の発光強度を外光に比例して強くすることが必要であるため、消費電力の問題があり、車両外に強力な光を投射するため安全性にも問題があった。
【０００５】
そこで、低い消費電力の実現や、安全性を向上させる目的で、センシング用の撮影フレームの間に、雨滴検出用の露光の異なる撮影フレームを挿入する画像処理装置及び方法が提案された（例えば、特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
他車両や白線などの検出には即応性が重視されるため、センシング用の撮影フレームのフレームレートは高く維持されることが重要である。しかしながら、特許文献２に開示された画像処理装置には、雨滴検出用の撮影フレームの挿入により、センシング用のフレームレート（単位時間当たりのフレーム数）が減ってしまうという問題があった。
【０００７】
本発明は、このような従来の課題を解決するためになされたものであって、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像処理システムは、透明部材の一方の面側から該透明部材に向けて光を照射する光源と、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子を有する撮像手段と、前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、前記撮像手段で撮像された撮像画像データを解析する画像解析手段と、を備え、前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする。
【０００９】
この構成により、第１画像領域用フレームの撮像と第２画像領域用フレームの撮像とを切り換え、第１画像領域用フレームの画素データの読み出し規則を第２画像領域用フレームの読み出し規則と異ならせるため、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることができる。
【発明の効果】
【００１０】
本発明は、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムを提供するものである。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図
【図２】本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図
【図３】撮像ユニットが有する撮像装置の概略構成を示す模式図
【図４】雨滴検出用の撮像画像データである赤外光画像データを示す説明図
【図５】光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図
【図６】光学フィルタの有効撮像領域の領域分割を説明するための正面模式図
【図７】撮像画像を例示する説明図
【図８】第１及び第２の分光フィルタ層の分光特性を示すグラフ
【図９】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１０】本発明に係る画像処理方法の手順を示すフローチャート
【図１１】光学フィルタの領域分割とフォトダイオードの画素の対応を例示する説明図
【図１２】画素間引きの例を示す説明図
【図１３】偏光フィルタ層を構成するワイヤグリッド構造の拡大図
【図１４】偏光フィルタ層におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図
【図１５】撮像装置が有する光源からの出射光の光路を示す説明図
【図１６】本発明者らが行った実験結果の画像を示す説明図
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムの実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
【００１３】
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。
【００１４】
図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。
【００１５】
本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。
【００１６】
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。なお、以降では、車両１００の前方の他車両の位置、方角、距離、並びに、路面上の白線（区画線）等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。
【００１７】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１８】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１９】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００２０】
図２は、本実施形態に係る画像処理システム１１０が備える撮像ユニット１０１の概略構成を示す模式図である。図２に示すように、撮像ユニット１０１は、車両１００内に固定されるカバー２１０と、撮像装置２０１（撮像手段）と、車両１００のフロントガラス１０５の内壁面（一方の面）１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、を有する。撮像装置２０１及び光源２０２はカバー２１０の内部に収容される。なお、図２は、カバー２１０内に１つの光源２０２が収容された例を図示しているが、光源の個数は１つに限定されるものではなく、複数個であってもよい。
【００２１】
図３は、撮像ユニット１０１が有する撮像装置２０１の概略構成を示す模式図である。撮像装置２０１は、主に、フロントガラス１０５の外壁面（他方の面）１０５ｂに付着した異物（以下、異物が雨滴である場合を例に挙げて説明する。）２０３によって反射された光源２０２（図２参照）からの光、及び、車両１００の外部から（外壁面１０５ｂ側から）フロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、から構成されている。
【００２２】
なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図３は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像装置２０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、そのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。
【００２３】
また、撮像素子２０６は、不図示のレジスタ（センサレジスタ）を備えている。後述する画素データの読み出し規則の制御は、画像解析ユニット１０２がセンサレジスタのパラメータ値を変更することによって実現される。
【００２４】
光源２０２は、撮像レンズ２０４の画角範囲と光源２０２の照射領域とがフロントガラス１０５の内壁面１０５ａで重なるように配置される。なお、光源２０２としてはアイセーフ帯の波長及び光量の光源を使用する。撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。
【００２５】
光源２０２は、フロントガラス１０５の外壁面１０５ｂに付着した雨滴を検出するためのものである。フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着している場合、光源２０２が発した光は、雨滴２０３と空気の界面で反射し、その反射光は撮像装置２０１に入射する。一方、フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着していない場合、光源２０２から照射された光は、その一部がフロントガラス１０５を透過して外部に漏れ、残りの光がフロントガラス１０５の内壁面１０５ａ、あるいは、外壁面１０５ｂと外気との界面で反射し、その反射光が撮像装置２０１へ入射する。
【００２６】
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光領域や赤外光領域の波長であるとよい。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長、例えば７５０ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。以降では、光源２０２が赤外光領域の波長の光を照射する場合を例に挙げて説明する。
【００２７】
なお、光源２０２は、連続発光（ＣＷ発光）を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタイミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
【００２８】
被写体（検出対象物）を含む撮像範囲からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に変換される。ここで、被写体（検出対象物）とは、車両１００の前方の風景や、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物である。信号処理部２０８では、撮像素子２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、撮像素子２０６上における各画素の明るさ（輝度情報）を含むデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００２９】
既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２０１の撮像画像データから適切な情報を取得することができる。
【００３０】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス１０５との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高くなる。
【００３１】
図４は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図４（ａ）はフロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ｂ）は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
【００３２】
フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ａ）に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４（ａ）に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
【００３３】
これに対し、無限遠に焦点が合っている場合には、図４（ｂ）に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高くなる。
【００３４】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３５】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２０１で撮像する際、撮像装置２０１の撮像素子２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００３６】
そこで、本実施形態においては、例えば、光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を撮像素子２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、撮像素子２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
【００３７】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出画像領域（第１の画像領域）と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域（第２の画像領域）と、に分割し、雨滴検出画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する構成としている。
【００３８】
図５は、光学フィルタ２０５、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。
【００３９】
光学フィルタ２０５は、図５に示したように、使用帯域（本実施形態では可視光領域と赤外光領域）の光に対して透明な基板２２０と、基板２２０上の撮像レンズ２０４側の有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、基板２２０上の撮像素子２０６側の有効撮像領域の一部に、上記偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層（第２の分光フィルタ層）２２２と、を有し、分光フィルタ層２２２の撮像素子２０６側の面が撮像素子２０６に密着接合されてなる。
【００４０】
即ち、光学フィルタ２０５は、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。
【００４１】
図６は、分光フィルタ層２２１及び分光フィルタ層２２２を有する光学フィルタ２０５の有効撮像領域の領域分割を説明するための正面模式図である。図６に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域２１１と、上記の雨滴検出画像領域に対応する赤外光透過領域２１２とに、領域分割されている。
【００４２】
例えば、可視光透過領域２１１は有効撮像領域の中央部１／２の領域であり、一方、赤外光透過領域２１２は有効撮像領域の上部及び下部の領域であるとよい。あるいは、赤外光透過領域２１２は、有効撮像領域の上部、下部、または側部に設けられてもよいが、図６に示したように有効撮像領域の上部及び下部に設けられることが特に好ましい。以下、その理由について説明する。図７は、撮像画像データを例示する図である。
【００４３】
対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
【００４４】
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴２０３の検出とを両立して行う場合には、図７に示すように、撮像画像の中央部を車両周辺情報検出画像領域２１３とし、撮像画像の上部及び下部をそれぞれ雨滴検出画像領域２１４とすることが好適である。即ち、図６に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域２１２とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域２１１とし、これに対応して分光フィルタ層２２２を領域分割するのが好適である。
【００４５】
なお、有効撮像領域のうち、充填材２２４上の分光フィルタ層２２２が形成されていない領域に、光源２０２が照射する赤外波長光をカットするフィルタが形成されていてもよい。
【００４６】
撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側には、フォトダイオード２０６Ａの各画素に対応してマイクロレンズ２０６Ｂが設けられている。この撮像素子２０６がワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７が形成されている。
【００４７】
図８は、分光フィルタ層２２１及び分光フィルタ層２２２の分光特性を示すグラフである。分光フィルタ層２２１は、図８（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光と、波長範囲９４０ｎｍ〜９７０ｎｍ（ここでは、λ３＝９４０ｎｍ、λ４＝９７０ｎｍ）の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
【００４８】
ただし、本実施形態の撮像素子２０６を構成する各フォトダイオード２０６Ａは、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層２２１が、波長範囲６７０ｎｍ〜９４０ｎｍの赤外光を透過させないようになっている（透過率５％以下が望ましい）。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００４９】
また、分光フィルタ層２２２は、図８（ｂ）に示すように波長範囲９４０ｎｍ〜９７０ｎｍの赤外光領域を透過帯としている。従って、光学フィルタ２０５は、分光フィルタ層２２２と上述の分光フィルタ層２２１との組合せにより、波長範囲９４０ｎｍ（＝λ３）〜９７０ｎｍ（＝λ４）の範囲の光のみを透過させることとなる。なお、この波長範囲λ３〜λ４における透過率のピークと光源２０２の発光波長が略同等であること（あるいは、発光波長が波長範囲λ３〜λ４に含まれること）が望ましい。
【００５０】
なお、分光フィルタ層２２１は、図８（ａ）に示す分光特性に代えて、図９（ａ）に示す分光特性を有するものであってもよい。また、分光フィルタ層２２２は、図８（ｂ）に示す分光特性（透過率のピークが光源２０２の発光波長と略一致したバンドパスフィルタを含む特性）に代えて、図９（ｂ）に示す分光特性を有するものであってもよい。つまり、分光フィルタ層２２２の分光特性は、光源２０２の発光波長よりも短波長側の光をカットする特性であってもよい。
【００５１】
ところで、撮像装置２０１の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜９４０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００５２】
なお、分光フィルタ層２２１及び分光フィルタ層２２２を光学フィルタ２０５の基板２２０の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。例えば、基板２２０の片側の面にだけ分光フィルタ層を形成した場合には、基板２２０に応力がかかり、反りが生じる。しかしながら、図５に示したように、基板２２０の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
【００５３】
また、図５及び図６に示したように、分光フィルタ層２２２を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域２１２を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することが難しくなる。光学フィルタ２０５と撮像素子２０６とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
【００５４】
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ２０５と撮像素子２０６を平行に接着することが可能である。この場合、赤外光透過領域２１２を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
【００５５】
なお、偏光フィルタ層２２３は、光源２０２から照射された後、フロントガラス１０５の内壁面１０５ａで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がＳ偏光成分であることが知られている。即ち、偏光フィルタ層２２３の偏光軸は、フロントガラス１０５の内壁面１０５ａの法線に対して直交する偏光方向成分（Ｓ偏光成分）の光を遮光するように形成されている。言い換えれば、偏光フィルタ層２２３は、光源２０２のフロントガラス１０５へ向かって出射する光の光軸２２と、撮像レンズ２０４の光軸２３との２つの光軸で形成される面に対して平行な偏光成分（Ｐ偏光成分）のみを透過させるように設計される。このように設計された偏光フィルタ層２２３はダッシュボードなどで反射した映りこみ光も遮断することができる。
【００５６】
なお、既に述べたように、撮像素子２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５の可視光透過領域２１１と赤外光透過領域２１２の境界と、撮像素子２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。これにより、赤外光透過領域２１２と可視光透過領域２１１の境界が明確になり、雨滴の検出精度を上げることができる。
【００５７】
光学フィルタ２０５と撮像素子２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をＵＶ接着や熱圧着してもよい。
【００５８】
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
【００５９】
ところで、図７には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置２０１は、赤外光透過領域２１２において、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を撮影するための第１の露光量（露光時間）で画像を撮影するとともに、可視光透過領域２１１において、フロントガラス１０５の外壁面１０５ｂの位置より遠方の画像を撮影するための第２の露光量（露光時間）で画像を撮影するものであってもよい。
【００６０】
可視光透過領域２１１と赤外光透過領域２１２とでは、撮影に必要な光量が異なるが、露光時間の異なる２枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
【００６１】
具体的には、遠方の画像を撮影する場合は、画像解析ユニット１０２が、分光フィルタ層２２１のみが形成された有効撮像領域（可視光透過領域２１１）を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層２２１及び分光フィルタ層２２２が形成された有効撮像領域（赤外光透過領域２１２）を透過する光の光量を検出しながら自動露光調整すればよい。
【００６２】
なお、分光フィルタ層２２１のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置２０１においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
【００６３】
一方、分光フィルタ層２２１及び分光フィルタ層２２２が形成された有効撮像領域については、雨滴などの異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
【００６４】
既に述べたように、車両周辺情報検出画像領域は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
【００６５】
また、雨滴検出の結果は、例えば、車線逸脱や前方車間距離の検出などと比較して、短時間で状況が変わることはなく、また安全性としても優先度は低い。このため、雨滴検出用のフレーム（以下、雨滴検出画像領域用フレームと記す）は、車両周辺情報検出用のフレーム（以下、車両周辺情報検出画像領域用フレームと記す）に一定間隔で挿入されることが望ましい。
【００６６】
図１０は、本実施形態の画像処理方法の手順を示すフローチャートである。まず、撮像装置２０１は、車両周辺情報検出画像領域用フレーム（第２画像領域用フレーム）を撮像するための第２の露光量での撮像をｎ回連続して実行する（ステップＳ１２０）。次に、画像解析ユニット１０２は、撮像装置２０１で撮像された車両周辺情報検出画像領域用フレームの画素データの読み出しを行う（ステップＳ１２１）。
【００６７】
ここで、画素データの読み出しは、車両周辺情報検出画像領域用フレームの全域（即ち、有効撮像領域の全域）に亘って行われるのではなく、車両周辺情報検出画像領域のみに対して行われることが望ましい。これにより、センシング用途に不必要な雨滴検出画像領域の画素データを読み出す必要がなくなり、車両周辺情報検出画像領域用フレームの読み出し時間を短縮することができる（読み出しにかかるクロック数を削減することができる）。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
【００６８】
そして、画像解析ユニット１０２は、ステップＳ１２１で読み出した車両周辺情報検出画像領域用フレームの解析を行って（ステップＳ１２２）、ヘッドランプ制御ユニット１０３、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２３）。
【００６９】
次に、撮像装置２０１は、雨滴検出画像領域用フレーム（第１画像領域用フレーム）を撮像するための第１の露光量での撮像をｍ回連続して実行する（ステップＳ１２４）。次に、画像解析ユニット１０２は、撮像装置２０１で撮像された雨滴検出画像領域用フレームの画素データの読み出しを行う（ステップＳ１２５）。
【００７０】
ここで、画素データの読み出しは、雨滴検出画像領域用フレームの全域（即ち、有効撮像領域の全域）に亘って行われるのではなく、雨滴検出画像領域のみに対して行われることが望ましい。これにより、雨滴検出の用途に不必要な車両周辺情報検出画像領域の画素データを読み出す必要がなくなり、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
【００７１】
そして、画像解析ユニット１０２は、ステップＳ１２５で読み出した雨滴検出画像領域用フレームの解析を行って（ステップＳ１２６）、ワイパー制御ユニット１０６等に各種制御を行わせるための指示信号を送出する（ステップＳ１２７）。
【００７２】
そして、所定の終了指示（車両１００の運転者による終了指示など）があるまで、ステップＳ１２０〜Ｓ１２７の処理を繰り返し実行する（ステップＳ１２８）。
【００７３】
上記の処理において、第１の露光量での連続撮像回数ｍは、第２の露光量での連続撮像回数ｎよりも小さい回数とする。即ち、雨滴検出画像領域用フレームの数は、車両周辺情報検出画像領域用フレームの数よりも少ないものとする。例えば、ｎ＝３０、ｍ＝１の場合には、車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→・・・のような規則で撮像するフレームの切り換えが行われるとよい。
【００７４】
あるいは、ｎ及びｍの初期値をそれぞれｎ＝１２０、ｍ＝１とし、ステップＳ１２６で雨滴が検出された場合には、ｎ＝３０、ｍ＝１として、雨滴検出画像領域用フレームの撮像の頻度を上げる構成であってもよい。
【００７５】
以上説明したように、図１０のフローチャートに示した画像処理方法においては、雨滴検出画像領域用フレームの画素データの読み出し規則が、車両周辺情報検出画像領域用フレームの読み出し規則と異なっている。具体的には、車両周辺情報検出画像領域用フレームについては、車両周辺情報検出画像領域のみに対して画素データの読み出しが行われるという規則が適用され、雨滴検出画像領域用フレームについては、雨滴検出画像領域のみに対して画素データの読み出しが行われるという規則が適用される。
【００７６】
次に、ステップＳ１２５における雨滴検出画像領域用フレームの画素データの読み出しについて詳細に説明する。図１１は、雨滴検出画像領域用フレームの雨滴検出画像領域に対応する赤外光透過領域２１２に配置されるフォトダイオード２０６Ａについて、その画素の配置を例示する説明図である。なお、図１１ではフォトダイオード２０６Ａの各画素を簡略化して描いているが、実際にはフォトダイオード２０６Ａは２次元配置された数十万個程度の画素で構成されている。
【００７７】
本実施形態の構成では、撮像レンズ２０４（図３参照）の焦点がフロントガラス１０５の位置にあっていないため、雨滴検出画像領域から得られる雨滴の画像はもともとピンボケしており、雨滴検出画像領域を高解像度にする必要はない。そのため、ステップＳ１２５においては、雨滴検出画像領域に対応する全画素データが読み出されるよりも、雨滴検出画像領域に対応する画素データが画素間引きされて読み出されることが望ましい。
【００７８】
図１２に画素間引きの例を示す。例えば、図１２（ａ）に示すように、特定の列の画素データの読み出しが一部または全部スキップされてもよい。なお、図中の白四角はスキップされた画素を示している。あるいは、特定の行の画素データの読み出しが一部または全部スキップされてもよいし（図１２（ｂ））、特定の行及び列の画素データの読み出しが一部または全部スキップされてもよい（図１２（ｃ））。あるいは、図１２（ｄ）に示すように、画素データの読み出しが市松状にスキップされてもよい。
【００７９】
これにより、雨滴検出画像領域に対応する全画素データが読み出される場合と比較して、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。特に、雨滴検出画像領域用フレームから雨滴検出画像領域のみに対応する画素データが読み出されるとともに、上記のように画素間引きが行われることが望ましい。この場合には、車両周辺情報検出画像領域用フレームのフレームレートをさらに上げることができる。
【００８０】
例えば、解像度がＷＸＧＡ（１２８０×８００ドットの画素数を持つ）の撮像素子であれば、６４０×４００ドットに間引いて読み出すことで、読み出しに必要な時間を１／４に短縮することができる。
【００８１】
さらに、車両周辺情報検出画像領域用フレームのフレームレートを上げるためには、雨滴検出画像領域に対応する赤外光透過領域２１２（図６参照）の面積が小さいことが望ましい。このため、赤外光透過領域２１２の面積は、車両周辺情報検出画像領域に対応する可視光透過領域２１１の面積よりも小さいことが望ましい。
【００８２】
以降では、光学フィルタ２０５の各部詳細について説明する。基板２２０は、使用帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。
【００８３】
基板２２０上に形成される偏光フィルタ層２２３は、図１３に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００８４】
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００８５】
図１４は、光学フィルタ２０５の偏光フィルタ層２２３におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス１０５は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層２２３はその変化に応じた偏光軸を有することが望ましい。
【００８６】
具体的には、図１４に示すように、フロントガラス１０５の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向（溝方向）を偏光フィルタ層２２３の各場所で変化させればよい。
【００８７】
本実施形態では、偏光フィルタ層２２３をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
【００８８】
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。
【００８９】
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
【００９０】
偏光フィルタ層２２３の積層方向上面を平坦化するために用いられる充填材２２４は、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。
【００９１】
充填材２２４の具体的な材料としては、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００９２】
充填材２２４の形成方法としては、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
【００９３】
偏光フィルタ層２２３はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と撮像素子２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
【００９４】
また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
【００９５】
なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。
【００９６】
本実施形態の分光フィルタ層２２１及び分光フィルタ層２２２は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。
【００９７】
本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６を採用している。分光フィルタ層２２２は、赤外光を透過させればよいので、多層膜部分の透過波長範囲を例えば９４０ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図９（ｂ）参照）を形成すればよい。
【００９８】
このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６との密着接合のための樹脂や接着剤を意図するものである。
【００９９】
既に図８（ｂ）に示したように、分光フィルタ層２２２は、透過波長範囲が９４０ｎｍ〜９７０ｎｍであるバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）などを使用すれば、対候性の高い分光フィルタ層２２２を実現できる。
【０１００】
本実施形態の分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【０１０１】
本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層２２１及び分光フィルタ層２２２として多層膜構造を採用しているので、光源２０２の波長と赤外光透過領域２１２の波長帯域を略一致させることが可能となる。
【０１０２】
図１５は、撮像装置２０１が有する光源２０２からの出射光の光路を示す説明図である。光源２０２からの出射光のフロントガラス１０５への入射角度は、光源２０２から出射され、雨滴と空気の境界面で反射された光が撮像素子２０６に撮像されるように設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトとしては、撮像レンズ２０４と光源２０２の光軸とが略平行となるように光源２０２が配置される例、及び、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２との交点を通るフロントガラス１０５の外壁面１０５ｂの法線１０を挟むように、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２とが配置される例が挙げられる。
【０１０３】
図１５は、上記の２つのレイアウトの後者を示している。以下、図１５を参照しながら本実施形態の画像処理システム１１０がフロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を検出する機能を説明する。
【０１０４】
・光線Ａ
フロントガラス１０５の外壁面１０５ｂの雨滴が付着していない箇所に向かう光線Ａの光は、その一部がそのまま車両１００の外部に漏れる。残りの一部は、フロントガラス１０５の内壁面１０５ａで反射される（不図示）。
【０１０５】
・光線Ｂ
上記のように、光源２０２からの出射光のうち、その一部はフロントガラス１０５の内壁面１０５ａで反射される。既に述べたように、このような反射光の偏光成分は大部分がＳ偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ２０５内にＳ偏光成分をカットする偏光フィルタ層２２３が配置されているため、不要光を除去することが可能である。
【０１０６】
・光線Ｃ
光源２０２からの出射光のうち、フロントガラス１０５の内壁面１０５ａで反射されずにフロントガラス１０５内を透過した光の成分としては、Ｐ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外壁面１０５ｂに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置２０１側に向けて再度フロントガラス１０５内を透過して、撮像装置２０１の光学フィルタ２０５に到達する。
【０１０７】
さらに、光学フィルタ２０５に到達した光は、分光フィルタ層２２１を透過し、そのＰ偏光成分がワイヤグリッド構造の偏光フィルタ層２２３を通過する。偏光フィルタ層２２３を透過したＰ偏光成分の光（赤外光）のうち、雨滴検出用の赤外光透過領域２１２の分光フィルタ層２２２に到達した光は、分光フィルタ層２２２を透過して撮像素子２０６に入射し、図１等に示した画像解析ユニット１０２により、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。なお、偏光フィルタ層２２３を透過したＰ偏光成分の光は、可視光透過領域２１１にも入射し得るが、この領域に光源２０２が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子２０６への入射を妨げることができる。
【０１０８】
・光線Ｄ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して撮像装置２０１に到達する光のうち、赤外光透過領域２１２に到達する光は、分光フィルタ層２２１及び分光フィルタ層２２２により、その大部分がカットされる。このように、赤外光透過領域２１２は、フロントガラス１０５の外側の外乱光もカットできる構成となっている。
【０１０９】
・光線Ｅ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して可視光透過領域２１１を通過する光の成分のうち、可視光成分及び光源２０２が照射する赤外波長光の波長帯の成分のみ分光フィルタ層２２１を透過してＰ偏光成分のみとなり、不要光がカットされた状態で撮像素子２０６に到達し、車両周辺情報検出用の信号として検出される。
【０１１０】
図１６は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図１６（ａ）は雨滴がフロントガラス１０５に付着している場合、図１６（ｂ）は雨滴がフロントガラス１０５に付着していない場合の画像である。
【０１１１】
図１６中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源２０２からのＬＥＤ光が撮像素子２０６に入射し、画像解析ユニット１０２により雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Ｒａｉｎ ｄｅｔｅｃｔｅｄ！」などの表示を画像中に示すことが好ましい。
【０１１２】
一方、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していないときは、光源２０２からのＬＥＤ光は撮像素子２０６に入射しないため、画像解析ユニット１０２は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Ｒａｉｎ ｎｏｔ ｄｅｔｅｃｔｅｄ」などの表示を画像中に示すことが好ましい。
【０１１３】
画像解析ユニット１０２による上記の認識処理は、例えば、撮像素子２０６におけるＬＥＤ光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
【０１１４】
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源２０２の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
【０１１５】
以上説明したように、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、１つの撮像装置で異物（主に雨滴）の検出と車両周辺情報の検出とを行うシステムにおいて、車両周辺情報検出用のフレームの連続撮像と、異物検出用のフレームの連続撮像を切り換えて行って、画像解析を行っているので、消費電力を削減することができ、かつ安全性をより向上させることができる。
【０１１６】
また、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、異物検出用のフレームの画素データの読み出し規則を、車両周辺情報検出用のフレームの読み出し規則と異ならせることにより、異物検出用のフレームの挿入による車両周辺情報検出用のフレームの低下を抑えることができる。
【０１１７】
なお、画像解析ユニット１０２（図１参照）は、ＣＰＵ（不図示）と、メモリ（不図示）と、を備えており、メモリにプログラムがインストールされることにより、ソフトウェア的に構成される。この場合、プログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体、及びそのプログラムをコンピュータに供給するための手段、例えば、プログラムを格納した記憶媒体、プログラムを伝送するインターネット等の伝送媒体も本発明の構成要件となる。記憶媒体としては、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等を用いることができる。
【符号の説明】
【０１１８】
１０ 法線
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク（ＨＤＤ）
１４ 入力インタフェース（Ｉ／Ｆ）
１５ 表示パネル
１６ 出力Ｉ／Ｆ
１７ バス
２２、２３ 光軸
１００ 車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０５ａ 内壁面（一方の面）
１０５ｂ 外壁面（他方の面）
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
２０１ 撮像装置（撮像手段）
２０２ 光源
２０３ 雨滴（異物）
２０３ａ 背景画像
２０４ 撮像レンズ
２０５ 光学フィルタ
２０６ 撮像素子
２０６Ａ フォトダイオード（受光素子）
２０６Ｂ マイクロレンズ
２０７ センサ基板
２０８ 信号処理部
２１０ カバー
２１１ 可視光透過領域
２１２ 赤外光透過領域
２１３ 車両周辺情報検出画像領域（第２の画像領域）
２１４ 雨滴検出画像領域（第１の画像領域）
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層
２２４ 充填材
【先行技術文献】
【特許文献】
【０１１９】
【特許文献１】特許第４３２６９９９号明細書
【特許文献２】特願２０１１−２４１６９８号
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を光学的に検出する画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、自動車等の車両に、車両の周辺情報を取得するためのセンシング用のカメラと、車両のフロントガラスに付着した雨滴を検出するための雨滴検出用のカメラを兼用させた画像処理システムが搭載されるようになってきている（例えば、特許文献１参照）。このような画像処理システムは、例えば、車両のフロントガラスに付着した雨滴をワイパーにより自動的に除去するシステムに用いられる。
【０００３】
特許文献１には、センシング用のカメラと雨滴検出用のカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像する画像処理システムが開示されている。この画像処理システムでは、光学フィルタの一部に雨滴を検出するためのバンドパスフィルタを設けている。通常、撮影画像の一部分のみで露光量を変化させることは困難なため、バンドパスフィルタのない、外光の影響を受ける部分に露光を合わせ、バンドパスフィルタがある部分もその露光値に合わせるために、光源の発光強度を変化させる構成になっている。
【０００４】
しかしながら、車両の外部からカメラへ入射する光の光量は、例えば昼と夜、また天候などにより大きく変化する。その変化量は０．１ルクスから１０万ルクス程度もあり非常に大きい。上記の画像処理システムでは、光源の発光強度を外光に比例して強くすることが必要であるため、消費電力の問題があり、車両外に強力な光を投射するため安全性にも問題があった。
【０００５】
そこで、低い消費電力の実現や、安全性を向上させる目的で、センシング用の撮影フレームの間に、雨滴検出用の露光の異なる撮影フレームを挿入する画像処理装置及び方法が提案された（例えば、特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
他車両や白線などの検出には即応性が重視されるため、センシング用の撮影フレームのフレームレートは高く維持されることが重要である。しかしながら、特許文献２に開示された画像処理装置には、雨滴検出用の撮影フレームの挿入により、センシング用のフレームレート（単位時間当たりのフレーム数）が減ってしまうという問題があった。
【０００７】
本発明は、このような従来の課題を解決するためになされたものであって、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像処理システムは、透明部材の一方の面側から該透明部材に向けて光を照射する光源と、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子を有する撮像手段と、前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、前記撮像手段で撮像された撮像画像データを解析する画像解析手段と、を備え、前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする。
【０００９】
この構成により、第１画像領域用フレームの撮像と第２画像領域用フレームの撮像とを切り換え、第１画像領域用フレームの画素データの読み出し規則を第２画像領域用フレームの読み出し規則と異ならせるため、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることができる。
【発明の効果】
【００１０】
本発明は、１つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムを提供するものである。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図
【図２】本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図
【図３】撮像ユニットが有する撮像装置の概略構成を示す模式図
【図４】雨滴検出用の撮像画像データである赤外光画像データを示す説明図
【図５】光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図
【図６】光学フィルタの有効撮像領域の領域分割を説明するための正面模式図
【図７】撮像画像を例示する説明図
【図８】第１及び第２の分光フィルタ層の分光特性を示すグラフ
【図９】第１及び第２の分光フィルタ層の分光特性の他の例を示すグラフ
【図１０】本発明に係る画像処理方法の手順を示すフローチャート
【図１１】光学フィルタの領域分割とフォトダイオードの画素の対応を例示する説明図
【図１２】画素間引きの例を示す説明図
【図１３】偏光フィルタ層を構成するワイヤグリッド構造の拡大図
【図１４】偏光フィルタ層におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図
【図１５】撮像装置が有する光源からの出射光の光路を示す説明図
【図１６】本発明者らが行った実験結果の画像を示す説明図
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムの実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
【００１３】
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。
【００１４】
図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。
【００１５】
本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。
【００１６】
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。なお、以降では、車両１００の前方の他車両の位置、方角、距離、並びに、路面上の白線（区画線）等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。
【００１７】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１８】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１９】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００２０】
図２は、本実施形態に係る画像処理システム１１０が備える撮像ユニット１０１の概略構成を示す模式図である。図２に示すように、撮像ユニット１０１は、車両１００内に固定されるカバー２１０と、撮像装置２０１（撮像手段）と、車両１００のフロントガラス１０５の内壁面（一方の面）１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２と、を有する。撮像装置２０１及び光源２０２はカバー２１０の内部に収容される。なお、図２は、カバー２１０内に１つの光源２０２が収容された例を図示しているが、光源の個数は１つに限定されるものではなく、複数個であってもよい。
【００２１】
図３は、撮像ユニット１０１が有する撮像装置２０１の概略構成を示す模式図である。撮像装置２０１は、主に、フロントガラス１０５の外壁面（他方の面）１０５ｂに付着した異物（以下、異物が雨滴である場合を例に挙げて説明する。）２０３によって反射された光源２０２（図２参照）からの光、及び、車両１００の外部から（外壁面１０５ｂ側から）フロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、から構成されている。
【００２２】
なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図３は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像装置２０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、そのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。
【００２３】
また、撮像素子２０６は、不図示のレジスタ（センサレジスタ）を備えている。後述する画素データの読み出し規則の制御は、画像解析ユニット１０２がセンサレジスタのパラメータ値を変更することによって実現される。
【００２４】
光源２０２は、撮像レンズ２０４の画角範囲と光源２０２の照射領域とがフロントガラス１０５の内壁面１０５ａで重なるように配置される。なお、光源２０２としてはアイセーフ帯の波長及び光量の光源を使用する。撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。
【００２５】
光源２０２は、フロントガラス１０５の外壁面１０５ｂに付着した雨滴を検出するためのものである。フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着している場合、光源２０２が発した光は、雨滴２０３と空気の界面で反射し、その反射光は撮像装置２０１に入射する。一方、フロントガラス１０５の外壁面１０５ｂに雨滴２０３が付着していない場合、光源２０２から照射された光は、その一部がフロントガラス１０５を透過して外部に漏れ、残りの光がフロントガラス１０５の内壁面１０５ａ、あるいは、外壁面１０５ｂと外気との界面で反射し、その反射光が撮像装置２０１へ入射する。
【００２６】
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光領域や赤外光領域の波長であるとよい。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長、例えば７５０ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。以降では、光源２０２が赤外光領域の波長の光を照射する場合を例に挙げて説明する。
【００２７】
なお、光源２０２は、連続発光（ＣＷ発光）を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタイミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
【００２８】
被写体（検出対象物）を含む撮像範囲からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に変換される。ここで、被写体（検出対象物）とは、車両１００の前方の風景や、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物である。信号処理部２０８では、撮像素子２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、撮像素子２０６上における各画素の明るさ（輝度情報）を含むデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００２９】
既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、又は、無限遠とフロントガラス１０５の外壁面１０５ｂとの間に設定されている。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２０１の撮像画像データから適切な情報を取得することができる。
【００３０】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス１０５との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高くなる。
【００３１】
図４は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図４（ａ）はフロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ｂ）は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
【００３２】
フロントガラス１０５の外壁面１０５ｂ上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４（ａ）に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４（ａ）に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
【００３３】
これに対し、無限遠に焦点が合っている場合には、図４（ｂ）に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高くなる。
【００３４】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３５】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２０１で撮像する際、撮像装置２０１の撮像素子２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００３６】
そこで、本実施形態においては、例えば、光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を撮像素子２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、撮像素子２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
【００３７】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出画像領域（第１の画像領域）と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域（第２の画像領域）と、に分割し、雨滴検出画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する構成としている。
【００３８】
図５は、光学フィルタ２０５、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。
【００３９】
光学フィルタ２０５は、図５に示したように、使用帯域（本実施形態では可視光領域と赤外光領域）の光に対して透明な基板２２０と、基板２２０上の撮像レンズ２０４側の有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、基板２２０上の撮像素子２０６側の有効撮像領域の一部に、上記偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる分光フィルタ層（第２の分光フィルタ層）２２２と、を有し、分光フィルタ層２２２の撮像素子２０６側の面が撮像素子２０６に密着接合されてなる。
【００４０】
即ち、光学フィルタ２０５は、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。
【００４１】
図６は、分光フィルタ層２２１及び分光フィルタ層２２２を有する光学フィルタ２０５の有効撮像領域の領域分割を説明するための正面模式図である。図６に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域２１１と、上記の雨滴検出画像領域に対応する赤外光透過領域２１２とに、領域分割されている。
【００４２】
例えば、可視光透過領域２１１は有効撮像領域の中央部１／２の領域であり、一方、赤外光透過領域２１２は有効撮像領域の上部及び下部の領域であるとよい。あるいは、赤外光透過領域２１２は、有効撮像領域の上部、下部、または側部に設けられてもよいが、図６に示したように有効撮像領域の上部及び下部に設けられることが特に好ましい。以下、その理由について説明する。図７は、撮像画像データを例示する図である。
【００４３】
対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ（不図示）及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
【００４４】
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴２０３の検出とを両立して行う場合には、図７に示すように、撮像画像の中央部を車両周辺情報検出画像領域２１３とし、撮像画像の上部及び下部をそれぞれ雨滴検出画像領域２１４とすることが好適である。即ち、図６に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域２１２とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域２１１とし、これに対応して分光フィルタ層２２２を領域分割するのが好適である。
【００４５】
なお、有効撮像領域のうち、充填材２２４上の分光フィルタ層２２２が形成されていない領域に、光源２０２が照射する赤外波長光をカットするフィルタが形成されていてもよい。
【００４６】
撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側には、フォトダイオード２０６Ａの各画素に対応してマイクロレンズ２０６Ｂが設けられている。この撮像素子２０６がワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７が形成されている。
【００４７】
図８は、分光フィルタ層２２１及び分光フィルタ層２２２の分光特性を示すグラフである。分光フィルタ層２２１は、図８（ａ）に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の光と、波長範囲９４０ｎｍ〜９７０ｎｍ（ここでは、λ３＝９４０ｎｍ、λ４＝９７０ｎｍ）の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
【００４８】
ただし、本実施形態の撮像素子２０６を構成する各フォトダイオード２０６Ａは、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層２２１が、波長範囲６７０ｎｍ〜９４０ｎｍの赤外光を透過させないようになっている（透過率５％以下が望ましい）。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００４９】
また、分光フィルタ層２２２は、図８（ｂ）に示すように波長範囲９４０ｎｍ〜９７０ｎｍの赤外光領域を透過帯としている。従って、光学フィルタ２０５は、分光フィルタ層２２２と上述の分光フィルタ層２２１との組合せにより、波長範囲９４０ｎｍ（＝λ３）〜９７０ｎｍ（＝λ４）の範囲の光のみを透過させることとなる。なお、この波長範囲λ３〜λ４における透過率のピークと光源２０２の発光波長が略同等であること（あるいは、発光波長が波長範囲λ３〜λ４に含まれること）が望ましい。
【００５０】
なお、分光フィルタ層２２１は、図８（ａ）に示す分光特性に代えて、図９（ａ）に示す分光特性を有するものであってもよい。また、分光フィルタ層２２２は、図８（ｂ）に示す分光特性（透過率のピークが光源２０２の発光波長と略一致したバンドパスフィルタを含む特性）に代えて、図９（ｂ）に示す分光特性を有するものであってもよい。つまり、分光フィルタ層２２２の分光特性は、光源２０２の発光波長よりも短波長側の光をカットする特性であってもよい。
【００５１】
ところで、撮像装置２０１の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜９４０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００５２】
なお、分光フィルタ層２２１及び分光フィルタ層２２２を光学フィルタ２０５の基板２２０の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。例えば、基板２２０の片側の面にだけ分光フィルタ層を形成した場合には、基板２２０に応力がかかり、反りが生じる。しかしながら、図５に示したように、基板２２０の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
【００５３】
また、図５及び図６に示したように、分光フィルタ層２２２を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域２１２を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することが難しくなる。光学フィルタ２０５と撮像素子２０６とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
【００５４】
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ２０５と撮像素子２０６を平行に接着することが可能である。この場合、赤外光透過領域２１２を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
【００５５】
なお、偏光フィルタ層２２３は、光源２０２から照射された後、フロントガラス１０５の内壁面１０５ａで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がＳ偏光成分であることが知られている。即ち、偏光フィルタ層２２３の偏光軸は、フロントガラス１０５の内壁面１０５ａの法線に対して直交する偏光方向成分（Ｓ偏光成分）の光を遮光するように形成されている。言い換えれば、偏光フィルタ層２２３は、光源２０２のフロントガラス１０５へ向かって出射する光の光軸２２と、撮像レンズ２０４の光軸２３との２つの光軸で形成される面に対して平行な偏光成分（Ｐ偏光成分）のみを透過させるように設計される。このように設計された偏光フィルタ層２２３はダッシュボードなどで反射した映りこみ光も遮断することができる。
【００５６】
なお、既に述べたように、撮像素子２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５の可視光透過領域２１１と赤外光透過領域２１２の境界と、撮像素子２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。これにより、赤外光透過領域２１２と可視光透過領域２１１の境界が明確になり、雨滴の検出精度を上げることができる。
【００５７】
光学フィルタ２０５と撮像素子２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をＵＶ接着や熱圧着してもよい。
【００５８】
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
【００５９】
ところで、図７には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置２０１は、赤外光透過領域２１２において、フロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を撮影するための第１の露光量（露光時間）で画像を撮影するとともに、可視光透過領域２１１において、フロントガラス１０５の外壁面１０５ｂの位置より遠方の画像を撮影するための第２の露光量（露光時間）で画像を撮影するものであってもよい。
【００６０】
可視光透過領域２１１と赤外光透過領域２１２とでは、撮影に必要な光量が異なるが、露光時間の異なる２枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
【００６１】
具体的には、遠方の画像を撮影する場合は、画像解析ユニット１０２が、分光フィルタ層２２１のみが形成された有効撮像領域（可視光透過領域２１１）を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層２２１及び分光フィルタ層２２２が形成された有効撮像領域（赤外光透過領域２１２）を透過する光の光量を検出しながら自動露光調整すればよい。
【００６２】
なお、分光フィルタ層２２１のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置２０１においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
【００６３】
一方、分光フィルタ層２２１及び分光フィルタ層２２２が形成された有効撮像領域については、雨滴などの異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
【００６４】
既に述べたように、車両周辺情報検出画像領域は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
【００６５】
また、雨滴検出の結果は、例えば、車線逸脱や前方車間距離の検出などと比較して、短時間で状況が変わることはなく、また安全性としても優先度は低い。このため、雨滴検出用のフレーム（以下、雨滴検出画像領域用フレームと記す）は、車両周辺情報検出用のフレーム（以下、車両周辺情報検出画像領域用フレームと記す）に一定間隔で挿入されることが望ましい。
【００６６】
図１０は、本実施形態の画像処理方法の手順を示すフローチャートである。まず、撮像装置２０１は、車両周辺情報検出画像領域用フレーム（第２画像領域用フレーム）を撮像するための第２の露光量での撮像をｎ回連続して実行する（ステップＳ１２０）。次に、画像解析ユニット１０２は、撮像装置２０１で撮像された車両周辺情報検出画像領域用フレームの画素データの読み出しを行う（ステップＳ１２１）。
【００６７】
ここで、画素データの読み出しは、車両周辺情報検出画像領域用フレームの全域（即ち、有効撮像領域の全域）に亘って行われるのではなく、車両周辺情報検出画像領域のみに対して行われることが望ましい。これにより、センシング用途に不必要な雨滴検出画像領域の画素データを読み出す必要がなくなり、車両周辺情報検出画像領域用フレームの読み出し時間を短縮することができる（読み出しにかかるクロック数を削減することができる）。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
【００６８】
そして、画像解析ユニット１０２は、ステップＳ１２１で読み出した車両周辺情報検出画像領域用フレームの解析を行って（ステップＳ１２２）、ヘッドランプ制御ユニット１０３、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２３）。
【００６９】
次に、撮像装置２０１は、雨滴検出画像領域用フレーム（第１画像領域用フレーム）を撮像するための第１の露光量での撮像をｍ回連続して実行する（ステップＳ１２４）。次に、画像解析ユニット１０２は、撮像装置２０１で撮像された雨滴検出画像領域用フレームの画素データの読み出しを行う（ステップＳ１２５）。
【００７０】
ここで、画素データの読み出しは、雨滴検出画像領域用フレームの全域（即ち、有効撮像領域の全域）に亘って行われるのではなく、雨滴検出画像領域のみに対して行われることが望ましい。これにより、雨滴検出の用途に不必要な車両周辺情報検出画像領域の画素データを読み出す必要がなくなり、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
【００７１】
そして、画像解析ユニット１０２は、ステップＳ１２５で読み出した雨滴検出画像領域用フレームの解析を行って（ステップＳ１２６）、ワイパー制御ユニット１０６等に各種制御を行わせるための指示信号を送出する（ステップＳ１２７）。
【００７２】
そして、所定の終了指示（車両１００の運転者による終了指示など）があるまで、ステップＳ１２０〜Ｓ１２７の処理を繰り返し実行する（ステップＳ１２８）。
【００７３】
上記の処理において、第１の露光量での連続撮像回数ｍは、第２の露光量での連続撮像回数ｎよりも小さい回数とする。即ち、雨滴検出画像領域用フレームの数は、車両周辺情報検出画像領域用フレームの数よりも少ないものとする。例えば、ｎ＝３０、ｍ＝１の場合には、車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→雨滴検出画像領域用フレーム×１→車両周辺情報検出画像領域用フレーム×３０→・・・のような規則で撮像するフレームの切り換えが行われるとよい。
【００７４】
あるいは、ｎ及びｍの初期値をそれぞれｎ＝１２０、ｍ＝１とし、ステップＳ１２６で雨滴が検出された場合には、ｎ＝３０、ｍ＝１として、雨滴検出画像領域用フレームの撮像の頻度を上げる構成であってもよい。
【００７５】
以上説明したように、図１０のフローチャートに示した画像処理方法においては、雨滴検出画像領域用フレームの画素データの読み出し規則が、車両周辺情報検出画像領域用フレームの読み出し規則と異なっている。具体的には、車両周辺情報検出画像領域用フレームについては、車両周辺情報検出画像領域のみに対して画素データの読み出しが行われるという規則が適用され、雨滴検出画像領域用フレームについては、雨滴検出画像領域のみに対して画素データの読み出しが行われるという規則が適用される。
【００７６】
次に、ステップＳ１２５における雨滴検出画像領域用フレームの画素データの読み出しについて詳細に説明する。図１１は、雨滴検出画像領域用フレームの雨滴検出画像領域に対応する赤外光透過領域２１２に配置されるフォトダイオード２０６Ａについて、その画素の配置を例示する説明図である。なお、図１１ではフォトダイオード２０６Ａの各画素を簡略化して描いているが、実際にはフォトダイオード２０６Ａは２次元配置された数十万個程度の画素で構成されている。
【００７７】
本実施形態の構成では、撮像レンズ２０４（図３参照）の焦点がフロントガラス１０５の位置にあっていないため、雨滴検出画像領域から得られる雨滴の画像はもともとピンボケしており、雨滴検出画像領域を高解像度にする必要はない。そのため、ステップＳ１２５においては、雨滴検出画像領域に対応する全画素データが読み出されるよりも、雨滴検出画像領域に対応する画素データが画素間引きされて読み出されることが望ましい。
【００７８】
図１２に画素間引きの例を示す。例えば、図１２（ａ）に示すように、特定の列の画素データの読み出しが一部または全部スキップされてもよい。なお、図中の白四角はスキップされた画素を示している。あるいは、特定の行の画素データの読み出しが一部または全部スキップされてもよいし（図１２（ｂ））、特定の行及び列の画素データの読み出しが一部または全部スキップされてもよい（図１２（ｃ））。あるいは、図１２（ｄ）に示すように、画素データの読み出しが市松状にスキップされてもよい。
【００７９】
これにより、雨滴検出画像領域に対応する全画素データが読み出される場合と比較して、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。特に、雨滴検出画像領域用フレームから雨滴検出画像領域のみに対応する画素データが読み出されるとともに、上記のように画素間引きが行われることが望ましい。この場合には、車両周辺情報検出画像領域用フレームのフレームレートをさらに上げることができる。
【００８０】
例えば、解像度がＷＸＧＡ（１２８０×８００ドットの画素数を持つ）の撮像素子であれば、６４０×４００ドットに間引いて読み出すことで、読み出しに必要な時間を１／４に短縮することができる。
【００８１】
さらに、車両周辺情報検出画像領域用フレームのフレームレートを上げるためには、雨滴検出画像領域に対応する赤外光透過領域２１２（図６参照）の面積が小さいことが望ましい。このため、赤外光透過領域２１２の面積は、車両周辺情報検出画像領域に対応する可視光透過領域２１１の面積よりも小さいことが望ましい。
【００８２】
以降では、光学フィルタ２０５の各部詳細について説明する。基板２２０は、使用帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。
【００８３】
基板２２０上に形成される偏光フィルタ層２２３は、図１３に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００８４】
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００８５】
図１４は、光学フィルタ２０５の偏光フィルタ層２２３におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス１０５は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層２２３はその変化に応じた偏光軸を有することが望ましい。
【００８６】
具体的には、図１４に示すように、フロントガラス１０５の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向（溝方向）を偏光フィルタ層２２３の各場所で変化させればよい。
【００８７】
本実施形態では、偏光フィルタ層２２３をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
【００８８】
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。
【００８９】
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
【００９０】
偏光フィルタ層２２３の積層方向上面を平坦化するために用いられる充填材２２４は、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。
【００９１】
充填材２２４の具体的な材料としては、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００９２】
充填材２２４の形成方法としては、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
【００９３】
偏光フィルタ層２２３はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と撮像素子２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
【００９４】
また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
【００９５】
なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。
【００９６】
本実施形態の分光フィルタ層２２１及び分光フィルタ層２２２は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。
【００９７】
本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６を採用している。分光フィルタ層２２２は、赤外光を透過させればよいので、多層膜部分の透過波長範囲を例えば９４０ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図９（ｂ）参照）を形成すればよい。
【００９８】
このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６との密着接合のための樹脂や接着剤を意図するものである。
【００９９】
既に図８（ｂ）に示したように、分光フィルタ層２２２は、透過波長範囲が９４０ｎｍ〜９７０ｎｍであるバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）などを使用すれば、対候性の高い分光フィルタ層２２２を実現できる。
【０１００】
本実施形態の分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【０１０１】
本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層２２１及び分光フィルタ層２２２として多層膜構造を採用しているので、光源２０２の波長と赤外光透過領域２１２の波長帯域を略一致させることが可能となる。
【０１０２】
図１５は、撮像装置２０１が有する光源２０２からの出射光の光路を示す説明図である。光源２０２からの出射光のフロントガラス１０５への入射角度は、光源２０２から出射され、雨滴と空気の境界面で反射された光が撮像素子２０６に撮像されるように設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトとしては、撮像レンズ２０４と光源２０２の光軸とが略平行となるように光源２０２が配置される例、及び、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２との交点を通るフロントガラス１０５の外壁面１０５ｂの法線１０を挟むように、撮像レンズ２０４の光軸２３と、光源２０２の光軸２２とが配置される例が挙げられる。
【０１０３】
図１５は、上記の２つのレイアウトの後者を示している。以下、図１５を参照しながら本実施形態の画像処理システム１１０がフロントガラス１０５の外壁面１０５ｂに付着した雨滴などの異物を検出する機能を説明する。
【０１０４】
・光線Ａ
フロントガラス１０５の外壁面１０５ｂの雨滴が付着していない箇所に向かう光線Ａの光は、その一部がそのまま車両１００の外部に漏れる。残りの一部は、フロントガラス１０５の内壁面１０５ａで反射される（不図示）。
【０１０５】
・光線Ｂ
上記のように、光源２０２からの出射光のうち、その一部はフロントガラス１０５の内壁面１０５ａで反射される。既に述べたように、このような反射光の偏光成分は大部分がＳ偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ２０５内にＳ偏光成分をカットする偏光フィルタ層２２３が配置されているため、不要光を除去することが可能である。
【０１０６】
・光線Ｃ
光源２０２からの出射光のうち、フロントガラス１０５の内壁面１０５ａで反射されずにフロントガラス１０５内を透過した光の成分としては、Ｐ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外壁面１０５ｂに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置２０１側に向けて再度フロントガラス１０５内を透過して、撮像装置２０１の光学フィルタ２０５に到達する。
【０１０７】
さらに、光学フィルタ２０５に到達した光は、分光フィルタ層２２１を透過し、そのＰ偏光成分がワイヤグリッド構造の偏光フィルタ層２２３を通過する。偏光フィルタ層２２３を透過したＰ偏光成分の光（赤外光）のうち、雨滴検出用の赤外光透過領域２１２の分光フィルタ層２２２に到達した光は、分光フィルタ層２２２を透過して撮像素子２０６に入射し、図１等に示した画像解析ユニット１０２により、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。なお、偏光フィルタ層２２３を透過したＰ偏光成分の光は、可視光透過領域２１１にも入射し得るが、この領域に光源２０２が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子２０６への入射を妨げることができる。
【０１０８】
・光線Ｄ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して撮像装置２０１に到達する光のうち、赤外光透過領域２１２に到達する光は、分光フィルタ層２２１及び分光フィルタ層２２２により、その大部分がカットされる。このように、赤外光透過領域２１２は、フロントガラス１０５の外側の外乱光もカットできる構成となっている。
【０１０９】
・光線Ｅ
光源２０２からの光ではなく、フロントガラス１０５の外壁面１０５ｂ側から入射して可視光透過領域２１１を通過する光の成分のうち、可視光成分及び光源２０２が照射する赤外波長光の波長帯の成分のみ分光フィルタ層２２１を透過してＰ偏光成分のみとなり、不要光がカットされた状態で撮像素子２０６に到達し、車両周辺情報検出用の信号として検出される。
【０１１０】
図１６は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図１６（ａ）は雨滴がフロントガラス１０５に付着している場合、図１６（ｂ）は雨滴がフロントガラス１０５に付着していない場合の画像である。
【０１１１】
図１６中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源２０２からのＬＥＤ光が撮像素子２０６に入射し、画像解析ユニット１０２により雨滴がフロントガラス１０５の外壁面１０５ｂに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Ｒａｉｎ ｄｅｔｅｃｔｅｄ！」などの表示を画像中に示すことが好ましい。
【０１１２】
一方、雨滴がフロントガラス１０５の外壁面１０５ｂに付着していないときは、光源２０２からのＬＥＤ光は撮像素子２０６に入射しないため、画像解析ユニット１０２は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Ｒａｉｎ ｎｏｔ ｄｅｔｅｃｔｅｄ」などの表示を画像中に示すことが好ましい。
【０１１３】
画像解析ユニット１０２による上記の認識処理は、例えば、撮像素子２０６におけるＬＥＤ光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
【０１１４】
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源２０２の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
【０１１５】
以上説明したように、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、１つの撮像装置で異物（主に雨滴）の検出と車両周辺情報の検出とを行うシステムにおいて、車両周辺情報検出用のフレームの連続撮像と、異物検出用のフレームの連続撮像を切り換えて行って、画像解析を行っているので、消費電力を削減することができ、かつ安全性をより向上させることができる。
【０１１６】
また、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、異物検出用のフレームの画素データの読み出し規則を、車両周辺情報検出用のフレームの読み出し規則と異ならせることにより、異物検出用のフレームの挿入による車両周辺情報検出用のフレームの低下を抑えることができる。
【０１１７】
なお、画像解析ユニット１０２（図１参照）は、ＣＰＵ（不図示）と、メモリ（不図示）と、を備えており、メモリにプログラムがインストールされることにより、ソフトウェア的に構成される。この場合、プログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体、及びそのプログラムをコンピュータに供給するための手段、例えば、プログラムを格納した記憶媒体、プログラムを伝送するインターネット等の伝送媒体も本発明の構成要件となる。記憶媒体としては、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等を用いることができる。
【符号の説明】
【０１１８】
１０ 法線
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク（ＨＤＤ）
１４ 入力インタフェース（Ｉ／Ｆ）
１５ 表示パネル
１６ 出力Ｉ／Ｆ
１７ バス
２２、２３ 光軸
１００ 車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０５ａ 内壁面（一方の面）
１０５ｂ 外壁面（他方の面）
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
２０１ 撮像装置（撮像手段）
２０２ 光源
２０３ 雨滴（異物）
２０３ａ 背景画像
２０４ 撮像レンズ
２０５ 光学フィルタ
２０６ 撮像素子
２０６Ａ フォトダイオード（受光素子）
２０６Ｂ マイクロレンズ
２０７ センサ基板
２０８ 信号処理部
２１０ カバー
２１１ 可視光透過領域
２１２ 赤外光透過領域
２１３ 車両周辺情報検出画像領域（第２の画像領域）
２１４ 雨滴検出画像領域（第１の画像領域）
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層
２２４ 充填材
【先行技術文献】
【特許文献】
【０１１９】
【特許文献１】特許第４３２６９９９号明細書
【特許文献２】特願２０１１−２４１６９８号
【特許請求の範囲】
【請求項１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子を有する撮像手段と、
前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像手段で撮像された撮像画像データを解析する画像解析手段と、を備え、
前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、
前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする画像処理システム。
【請求項２】
前記撮像手段は、前記第１画像領域用フレームを第１の露光量で撮像するとともに、前記第２画像領域用フレームを第２の露光量で撮像することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第１画像領域用フレームの数が、前記第２画像領域用フレームの数よりも少ないことを特徴とする請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記画像解析手段は、前記第１画像領域用フレームの画素データの読み出しを前記第１の画像領域のみに対して行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理システム。
【請求項５】
前記画像解析手段は、前記第１画像領域用フレームを画素間引きして読み出すことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項６】
前記画像解析手段は、前記第２画像領域用フレームの画素データの読み出しを前記第２の画像領域のみに対して行うことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理システム。
【請求項７】
前記所定領域の面積が、前記所定領域以外の前記有効撮像領域の面積よりも小さいことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。
【請求項８】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有し、
前記波長λ３〜λ４の範囲に前記光源の発光波長が含まれることを特徴と請求項１から請求項７のいずれか一項に記載の画像処理システム。
【請求項９】
画像処理システムと、
フロントガラスに付着した異物を除去するためのワイパーと、
前記画像処理システムが備える画像解析手段の異物検出結果を受けて、前記ワイパーを制御するための制御信号を生成するワイパー制御ユニットと、を備え、
前記画像処理システムは、
前記フロントガラスの一方の面側から該フロントガラスに向けて光を照射する光源と、
前記フロントガラスの他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記フロントガラスを透過した光を撮像する撮像素子を有する撮像手段と、
前記フロントガラスと前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像手段で撮像された撮像画像データを解析する前記画像解析手段と、を備え、
前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、
前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする車両。
【請求項１０】
画像処理システムで実行される画像処理方法であって、
前記画像処理システムは、
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、を備え、
前記光学フィルタを透過した、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像ステップと、
前記撮像ステップで撮像された撮像画像データを解析する画像解析ステップと、を含み、
前記撮像ステップは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームの撮像と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームの撮像とを行い、
前記画像解析ステップは、前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする画像処理方法。
【請求項１１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、を備える画像処理システムとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータに、
前記光学フィルタを透過した、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像ステップと、
前記撮像ステップで撮像された撮像画像データを解析する画像解析ステップと、を実行させ、
前記撮像ステップは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームの撮像と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームの撮像とを行い、
前記画像解析ステップは、前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とするプログラム。
【請求項１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像素子を有する撮像手段と、
前記透明部材と前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像手段で撮像された撮像画像データを解析する画像解析手段と、を備え、
前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、
前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする画像処理システム。
【請求項２】
前記撮像手段は、前記第１画像領域用フレームを第１の露光量で撮像するとともに、前記第２画像領域用フレームを第２の露光量で撮像することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第１画像領域用フレームの数が、前記第２画像領域用フレームの数よりも少ないことを特徴とする請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記画像解析手段は、前記第１画像領域用フレームの画素データの読み出しを前記第１の画像領域のみに対して行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理システム。
【請求項５】
前記画像解析手段は、前記第１画像領域用フレームを画素間引きして読み出すことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項６】
前記画像解析手段は、前記第２画像領域用フレームの画素データの読み出しを前記第２の画像領域のみに対して行うことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理システム。
【請求項７】
前記所定領域の面積が、前記所定領域以外の前記有効撮像領域の面積よりも小さいことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。
【請求項８】
前記光学フィルタは、
使用帯域の光に対して透明な基板と、
前記基板上の前記透明部材側の前記有効撮像領域の全面に形成され、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみ透過させる第１の分光フィルタ層と、
前記基板上の前記撮像素子側の前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光のみ透過させる第２の分光フィルタ層と、を有し、
前記波長λ３〜λ４の範囲に前記光源の発光波長が含まれることを特徴と請求項１から請求項７のいずれか一項に記載の画像処理システム。
【請求項９】
画像処理システムと、
フロントガラスに付着した異物を除去するためのワイパーと、
前記画像処理システムが備える画像解析手段の異物検出結果を受けて、前記ワイパーを制御するための制御信号を生成するワイパー制御ユニットと、を備え、
前記画像処理システムは、
前記フロントガラスの一方の面側から該フロントガラスに向けて光を照射する光源と、
前記フロントガラスの他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記フロントガラスを透過した光を撮像する撮像素子を有する撮像手段と、
前記フロントガラスと前記撮像素子との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、
前記撮像手段で撮像された撮像画像データを解析する前記画像解析手段と、を備え、
前記撮像画像データは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームと、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームと、からなり、
前記画像解析手段は、前記撮像手段における前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする車両。
【請求項１０】
画像処理システムで実行される画像処理方法であって、
前記画像処理システムは、
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、を備え、
前記光学フィルタを透過した、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像ステップと、
前記撮像ステップで撮像された撮像画像データを解析する画像解析ステップと、を含み、
前記撮像ステップは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームの撮像と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームの撮像とを行い、
前記画像解析ステップは、前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とする画像処理方法。
【請求項１１】
透明部材の一方の面側から該透明部材に向けて光を照射する光源と、
有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタと、を備える画像処理システムとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータに、
前記光学フィルタを透過した、前記透明部材の他方の面に付着した異物によって反射された前記光源からの光、及び、前記他方の面側から前記透明部材を透過した光を撮像する撮像ステップと、
前記撮像ステップで撮像された撮像画像データを解析する画像解析ステップと、を実行させ、
前記撮像ステップは、前記所定領域に対応する異物検出用の第１の画像領域を含む第１画像領域用フレームの撮像と、前記所定領域以外の前記有効撮像領域に対応する第２の画像領域を含む第２画像領域用フレームの撮像とを行い、
前記画像解析ステップは、前記第１画像領域用フレームの画素データの読み出し規則を、前記第２画像領域用フレームの読み出し規則と異ならせることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図４】
【図１３】
【図１６】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図４】
【図１３】
【図１６】
【公開番号】特開２０１３−１１５６２５（Ｐ２０１３−１１５６２５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０２９８（Ｐ２０１１−２６０２９８）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]