画像処理装置
【課題】フロントガラス等の透明部材に付着した付着物と、透明部材の位置より遠方の情報とを、それぞれ好適な条件で撮像可能な画像処理装置を提供する。
【解決手段】透明部材と、透明部材に光を照射する光源３０と、焦点を前記透明部材より遠方に持つ撮像レンズと、前記撮像レンズの後段に配置された光学フィルタと、及び前記光学フィルタを透過した光を受光する画像センサ、とを有し、前記光学フィルタは、前記撮像レンズからの入射光を透過する基板、前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を透過させる分光フィルタ層と、を備え、前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層を持たない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像する。
【解決手段】透明部材と、透明部材に光を照射する光源３０と、焦点を前記透明部材より遠方に持つ撮像レンズと、前記撮像レンズの後段に配置された光学フィルタと、及び前記光学フィルタを透過した光を受光する画像センサ、とを有し、前記光学フィルタは、前記撮像レンズからの入射光を透過する基板、前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を透過させる分光フィルタ層と、を備え、前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層を持たない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の車両に搭載可能な画像処理装置に関する。
【背景技術】
【０００２】
従来より、自動車等の車両に搭載され、雨滴の検出や自動車の周辺の監視を行う画像処理装置が知られている。
【０００３】
一例を挙げれば、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズを備え、このレンズの焦点距離を第１の焦点距離と第２の焦点距離とに切り換え可能なカメラ部と、第１の焦点距離においてカメラ部が撮像した画像に基づいて、雨滴の有無を検出する雨滴検出部と、第２の焦点距離においてカメラ部が撮像した画像に基づいて、車両の周辺を監視する監視部とを具備した画像処理装置等である（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の画像処理装置は、遠近両用の焦点を有するレンズを用い、フロントガラス面に付着した雨滴を検出するときには雨滴に焦点を合わせ、車両周辺情報を検出するときには車両周辺に焦点を合わせる。このため、フロントガラス面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映り込むとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことが困難である。
【０００５】
つまり、上記の特許文献１に記載の画像処理装置では、フロントガラス面に付着した雨滴と、フロントガラスの位置より遠方の車両周辺情報とを、それぞれに好適な条件で撮像することは困難である。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、フロントガラス等の透明部材に付着した付着物と、透明部材の位置より遠方の情報とを、それぞれに好適な条件で撮像可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本画像処理装置は、透明部材の一方の面側から前記透明部材に向けて照射光を照射する光源と、焦点が前記透明部材の位置よりも遠方に設定された撮像レンズ、前記撮像レンズの後段に配置された光学フィルタ、及び前記光学フィルタを透過した光を受光する２次元配置された複数の画素で構成された画像センサを備え、前記透明部材に対して前記光源と同じ側に配置された撮像装置と、を有し、前記光学フィルタは、前記撮像レンズを介して入射する入射光を透過する基板と、前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を選択的に透過させる分光フィルタ層と、を備え、前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層が形成されていない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像することを要件とする。
【発明の効果】
【０００８】
開示の技術によれば、フロントガラス等の透明部材に付着した付着物と、透明部材の位置より遠方の情報とを、それぞれに好適な条件で撮像可能な画像処理装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態に係る画像処理装置１０の概略構成を例示する模式図である。
【図２】図１の一部を拡大して例示する模式図である。
【図３】雨滴１０２に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。
【図４】無限遠に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。
【図５】光学フィルタ４２をセンサ基板４４側から視た図である。
【図６】画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図である。
【図７】第１の実施の形態に係る光学フィルタ４２と画像センサ４３の位置関係の対応を例示する図である。
【図８】図５及び図６のＡ−Ａ線に沿う断面図である。
【図９】ワイヤーグリッド構造で形成された偏光子を例示する図である。
【図１０】分光フィルタ層４９ａの透過率特性を例示する図（その１）である。
【図１１】分光フィルタ層４９ｂの透過率特性を例示する図（その１）である。
【図１２】分光フィルタ層４９ａの透過率特性を例示する図（その２）である。
【図１３】分光フィルタ層４９ｂの透過率特性を例示する図（その２）である。
【図１４】撮像画像の例を模式的に示す図である。
【図１５】雨滴検出及び車両検出に関わる光線を例示する図である。
【図１６】撮像画像を例示する図である。
【図１７】第１の実施の形態の変形例１に係る光学フィルタ４２Ａをセンサ基板４４側から視た図である。
【図１８】第１の実施の形態の変形例１に係る光学フィルタ４２Ａと画像センサ４３の位置関係の対応を例示する図である。
【図１９】図１７のＢ−Ｂ線に沿う断面図である。
【図２０】図１７のＣ−Ｃ線に沿う断面図である。
【図２１】第１の実施の形態の変形例２に係る光学フィルタ４２Ｂをセンサ基板４４側から視た図である。
【図２２】第１の実施の形態の変形例２に係る光学フィルタ４２Ｂと画像センサ４３の位置関係の対応を例示する図である。
【図２３】図２１のＤ−Ｄ線に沿う断面図である。
【図２４】図２１のＥ−Ｅ線に沿う断面図である。
【図２５】第１の実施の形態の変形例３に係る光学フィルタ４２Ｃをセンサ基板４３側から視た図である。
【図２６】開口制限部を例示する図（その１）である。
【図２７】開口制限部を例示する図（その２）である。
【図２８】開口制限部を例示する図（その３）である。
【図２９】開口制限部を例示する図（その４）である。
【図３０】開口制限部を例示する図（その５）である。
【図３１】開口制限部を例示する図（その６）である。
【図３２】本実施の形態に係る画像処理装置を備えた車載機器制御システムの概略構成を例示する模式図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１１】
なお、以下の実施の形態では、画像処理装置を自動車等の車両に搭載し、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像する例を示す。
【００１２】
［第１の実施の形態］
〈画像処理装置の概略構成〉
図１は、第１の実施の形態に係る画像処理装置１０の概略構成を例示する模式図である。図２は、図１の一部を拡大して例示する模式図である。図１及び図２を参照するに、画像処理装置１０は、撮像ユニット２０と、画像解析ユニット５０とを有する。なお、１０１は車両のフロントガラスを、１０２はフロントガラス１０１の外壁面に付着した雨滴を示している。なお、フロントガラス１０１は、本発明に係る透明部材の代表的な一例である。又、雨滴１０２は、本発明に係る付着物の代表的な一例である。
【００１３】
撮像ユニット２０は、例えば、車両のフロントガラス１０１の近傍（例えば、図示しないルームミラー付近）に設置されている。撮像ユニット２０を、例えば、少なくともフロントガラス１０１側が透明なカバー１０３に収容した状態でフロントガラス１０１の近傍に設置してもよい。
【００１４】
又、フロントガラス１０１側が開口されたカバー１０３をフロントガラス１０１に密着させ、撮像ユニット２０をフロントガラス１０１とカバー１０３で覆うように配置してもよい。この場合には、フロントガラス１０１の内壁面が曇るような状況であっても、カバー１０３で覆われた部分のフロントガラス１０１が曇ることを防止できる。その結果、フロントガラス１０１の曇りによって画像解析ユニット５０が誤解析することを抑制でき、画像解析ユニット５０の解析結果に基づく各種制御動作を適切に行うことができる。
【００１５】
但し、例えば、フロントガラス１０１の曇りを撮像ユニット２０で検出して、自車両の空調設備を制御するような場合には、撮像ユニット２０に対向するフロントガラス１０１の部分が他の部分と同じ状況となるように、カバー１０３に空気の流路を形成すればよい。
【００１６】
撮像ユニット２０は、光源３０と、撮像装置４０とを有する。光源３０は、フロントガラス１０１に付着した付着物を検出するために設けられた光源であり、フロントガラス１０１の一方の面側（内壁面側）からフロントガラス１０１に向けて照射光を照射する機能を有する。光源３０は、フロントガラス１０１に付着した付着物を検出する付着物検出用画像領域（雨滴検出用画像領域）を少なくとも照射できる位置に配置されている。
【００１７】
例えば、付着物検出用画像領域がフロントガラス１０１の下端側であれば、光源３０は、少なくともフロントガラス１０１の下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス１０１の上端側及び下端側であれば、光源３０は、少なくともフロントガラス１０１の上端側及び下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス１０１の全面であれば、光源３０は、少なくともフロントガラス１０１の全面を照射できる位置に配置される。なお、付着物検出用画像領域を確実に照射するため、複数の光源３０を配置してもよい。
【００１８】
光源３０としては、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）等を用いることができる。又、光源３０の発振波長としては、例えば、可視光や赤外光等を用いることができる。
【００１９】
但し、光源３０の光で対向車両の運転者や歩行者等を眩惑するのを回避する必要がある。そのため、光源３０の発振波長としては、可視光よりも波長が長く、かつ、後述の画像センサ４３の受光感度が及ぶ範囲の波長（例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長）を選択することが好ましい。以降、光源３０が赤外光領域の波長を有する光を照射する場合を例に挙げて説明する。
【００２０】
なお、光源３０の照射光は、略平行光であることが望ましい。光源３０の直後にコリメートレンズ等を配置することにより略平行光を生成できる。このように、光源３０は、照射光の形態を調整可能なレンズ等の構成要素を含んだものである。
【００２１】
撮像装置４０は、フロントガラス１０１に対して光源３０と同じ側に配置されており、光源３０から雨滴１０２に照射された光の反射光や、車両外部からの入射光を撮像する機能を有する。本実施の形態では、撮像レンズ４１の光軸が水平方向（Ｘ方向）を向くように撮像装置４０を配置しているが、これに限定されることはない。光源３０は、光源３０から雨滴１０２に照射された光の反射光が撮像装置４０へ入射する位置に配置されている。
【００２２】
撮像装置４０は、撮像レンズ４１と、光学フィルタ４２と、画像センサ４３と、センサ基板４４と、信号処理部４５とを有する。撮像レンズ４１は、例えば、複数のレンズから構成され、焦点がフロントガラス１０１の位置よりも遠方に設定されている。撮像レンズ４１の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０１との間に設定することができる。
【００２３】
光学フィルタ４２は、撮像レンズ４１の後段に配置され、画像センサ４３に入射する光の波長帯域を制限する機能を有する。画像センサ４３は、光学フィルタ４２を透過した光を受光する２次元配置された複数の画素で構成され、画素毎に入射光を光電変換する機能を有する。画像センサ４３は、センサ基板４４に搭載されている。なお、後述の図６等では画像センサ４３の各画素を簡略化して描いているが、実際には画像センサ４３は２次元配置された数十万個程度の画素で構成されている。
【００２４】
画像センサ４３としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。画像センサ４３の入射側に、例えば、各画素に対応するマイクロレンズ等を設け、画像センサ４３への集光効率を上げてもよい。
【００２５】
信号処理部４５は、画像センサ４３で光電変換され、センサ基板４４から出力されるアナログ電気信号（画像センサ４３の各画素への入射光量）をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部４５は、画像解析ユニット５０と電気的に接続されている。
【００２６】
光源３０からフロントガラス１０１の外壁面に付着した雨滴１０２に照射された光は、雨滴１０２と空気との界面で反射し、撮像レンズ４１及び光学フィルタ４２を経由して画像センサ４３に入射する。画像センサ４３に入射した光は、画像センサ４３で光強度に応じた電気信号に変換される。
【００２７】
信号処理部４５は、センサ基板４４を経由して画像センサ４３から電気信号（アナログ信号）が入力されると、入力された電気信号から、撮像画像データとして画像センサ４３上における各画素の明るさ（輝度）を示すデジタル信号（撮像画像データ）を、画像の水平・垂直同期信号とともに後段の画像解析ユニット５０へ出力する。
【００２８】
画像解析ユニット５０は、撮像装置４０を制御する機能や、撮像装置４０から送信される撮像画像データを解析する機能を有する。具体的には、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、画像センサ４３の撮像領域毎の最適な露光量を算出し、画像センサ４３の撮像領域毎に最適な露光量を設定する（最適な露光時間に調整する）機能を有する。
【００２９】
又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、フロントガラス１０１に付着する雨滴１０２や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする機能を有する。
【００３０】
又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、他車両のテールランプを識別することで自車両と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両とは反対方向へ進行する対向車両を検出したりする機能を有する。
【００３１】
〈画像処理装置の詳細説明〉
ここで、画像処理装置１０について、より詳しく説明する。まず、画像解析ユニット５０の機能の一つである付着物の検出について、付着物が雨滴１０２である場合を例に挙げて詳説する。
【００３２】
〔撮像レンズ４１の焦点〕
フロントガラス１０１の外壁面に雨滴１０２が付着していない場合、光源３０から照射された光は、フロントガラス１０１の外壁面と外気との界面で反射し、その反射光が撮像装置４０へ入射する。一方、図１に示すように、フロントガラス１０１の外壁面に雨滴１０２が付着している場合、フロントガラス１０１の外壁面と雨滴１０２との間における屈折率差は、フロントガラス１０１の外壁面と外気との間の屈折率差よりも小さくなる。
【００３３】
そのため、光源３０から照射された光は、フロントガラス１０１の外壁面と雨滴１０２の界面を透過し雨滴１０２に入射する。そして、雨滴１０２に入射した光は、雨滴１０２と空気との界面で反射し、その反射光が撮像装置４０へ入射する。雨滴１０２の有無によるこのような違いによって、画像解析ユニット５０は、撮像装置４０から送信される撮像画像データから、フロントガラス１０１に付着する雨滴１０２の有無を検出できる。
【００３４】
本実施の形態では、撮像レンズ４１の焦点位置は、無限遠又は無限遠とフロントガラス１０１との間に設定している。これにより、画像解析ユニット５０は、フロントガラス１０１の外壁面に付着した雨滴１０２の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置４０の撮像画像データから適切な情報を取得できる。
【００３５】
例えば、フロントガラス１０１の外壁面に付着した雨滴１０２の検出を行う場合、撮像画像データ上の雨滴１０２の画像の形状は円形状である場合が多い。そこで、画像解析ユニット５０は、撮像画像データ上の雨滴１０２の候補画像が円形状であるかどうかを判断することにより、雨滴１０２の候補画像が雨滴１０２の画像であることを識別する形状認識処理を行う。
【００３６】
このような形状認識処理を行う場合、フロントガラス１０１の外壁面に付着した雨滴１０２に撮像レンズ４１の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０１との間に焦点が合っている方が、多少ピンボケして、雨滴１０２の形状認識率（円形状）が高くなり、雨滴１０２の検出性能が向上する。
【００３７】
図３は、雨滴１０２に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。図４は、無限遠に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。なお、図３及び図４は、光源３０から雨滴１０２に赤外光を照射した場合の例である。
【００３８】
図３を参照するに、フロントガラス１０１の外壁面に付着した雨滴１０２に撮像レンズ４１の焦点が合っている場合、雨滴１０２に映り込んだ背景画像１０５までが撮像される。このような背景画像１０５は雨滴１０２の誤検出の原因となる。又、雨滴１０２の一部分１０６だけが弓状等に輝度が大きくなる場合がある。その場合、輝度が大きくなった一部分１０６の形状は、太陽光の方向や街灯の位置等によって変化する。このような種々変化する雨滴１０２の画像の形状を形状認識処理で対応するためには、処理負荷が大きく、又、認識精度の低下を招く。
【００３９】
一方、図４を参照するに、無限遠に撮像レンズ４１の焦点が合っている場合には、多少のピンボケが発生する。そのため、背景画像１０５の映り込みが撮像画像データに反映されず、雨滴１０２の誤検出が軽減される。又、多少のピンボケが発生することで、太陽光の方向や街灯の位置等によって雨滴画像の形状が変化する度合いが小さくなり、雨滴１０２の画像の形状は常に略円形状となる。これにより、雨滴１０２の形状認識処理の負荷を軽減でき、又、雨滴１０２の認識精度を向上できる。
【００４０】
但し、無限遠に撮像レンズ４１の焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ４３において、テールランプの光を受光する画素が１個程度になる場合がある。この場合、テールランプを認識できず、先行車両の検出ができない虞がある。
【００４１】
このような不具合を回避するため、撮像レンズ４１の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する画素の数を増やすことができる。その結果、テールランプの認識精度が上がるため、先行車両の検出精度を向上できる。
【００４２】
〔光学フィルタ４２の構成〕
図５は、光学フィルタ４２をセンサ基板４４側から視た図である。図６は、画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図である。図７は、第１の実施の形態に係る光学フィルタ４２と画像センサ４３の位置関係の対応を例示する図である。図８は、図５及び図６のＡ−Ａ線に沿う断面図である。
【００４３】
なお、図５〜図７において、便宜上、分光フィルタ層４９ｂ、及び画像センサ４３上の分光フィルタ層４９ｂに対応する領域を梨地模様で描いている。又、図７に示す光学フィルタ４２において、分光フィルタ層４９ｂの外周部分に描いた破線は有効撮像領域を示している。
【００４４】
図５〜図８を参照するに、光学フィルタ４２において、フィルタ基板４６は、撮像レンズ４１を介して光学フィルタ４２に入射する入射光を透過する透明な基板である。フィルタ基板４６の撮像レンズ４１側の面の有効画像領域（画像センサ４３を構成する全画素に対応する領域）の全部には、分光フィルタ層４９ａが形成されている。なお、分光フィルタ層４９ａは、本発明に係る第２の分光フィルタ層の代表的な一例である。
【００４５】
又、フィルタ基板４６の画像センサ４３側の面には、偏光フィルタ層４７が形成されている。偏光フィルタ層４７は形成しなくてもよいが、偏光フィルタ層４７を形成することにより不要光を低減することができるため、雨滴検出及び車両検出の検出精度を向上できる利点がある。
【００４６】
偏光フィルタ層４７を覆うように、更に充填材４８が形成されている。そして、充填材４８の画像センサ４３側の面の有効画像領域の上端側及び下端側には、分光フィルタ層４９ｂが積層形成されている。なお、分光フィルタ層４９ｂは、本発明に係る分光フィルタ層の代表的な一例である。
【００４７】
光学フィルタ４２に入射した光のうち、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂを透過した光は、画像センサ４３の画素４３ａ１〜４３ｂ８及び４３ｇ１〜４３ｈ８に入射する。又、光学フィルタ４２に入射した光のうち、分光フィルタ層４９ａ、及び偏光フィルタ層４７を透過した光（分光フィルタ層４９ｂが形成されていない領域を透過した光）は、画像センサ４３の画素４３ｃ１〜４３ｆ８に入射する。
【００４８】
フィルタ基板４６の材料としては、使用帯域（本実施の形態では可視光域と赤外域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等を用いることができる。本実施の形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を用いると好適である。
【００４９】
偏光フィルタ層４７は、光学フィルタ４２に入射した光のうちのＰ偏光成分のみを透過するように形成されている。偏光フィルタ層４７は、図９に示すような、ワイヤーグリッド構造で形成された偏光子を有し、分光フィルタ層４９ｂ側の面は凹凸面である。ワイヤーグリッド構造は、アルミニウム等の金属で構成された特定方向に延びる金属ワイヤー（導電体線）を特定のピッチで配列した構造である。図９では、溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
【００５０】
ワイヤーグリッド構造のワイヤーピッチを、入射光の波長帯（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることにより、以下の効果を奏する。すなわち、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００５１】
ワイヤーグリッド構造の偏光子は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００５２】
偏光フィルタ層４７をワイヤーグリッド構造で形成することにより、以下の効果を有する。すなわち、ワイヤーグリッド構造は、広く知られた半導体製造プロセスを利用して形成できる。具体的には、フィルタ基板４６上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチング等の手法によってワイヤーグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ４３の撮像画素サイズ相当（数μｍレベル）で金属ワイヤーの長手方向すなわち偏光方向（偏光軸）を調整することが可能となる。
【００５３】
又、ワイヤーグリッド構造は、アルミニウム等の金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内等の高温環境下においても好適に使用できるという利点もある。
【００５４】
偏光フィルタ層４７の凹凸面上に直接分光フィルタ層４９ｂを形成すると、分光フィルタ層４９ｂが偏光フィルタ層４７の凹凸面に沿って形成され、分光フィルタ層４９ｂに層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、偏光フィルタ層４７の積層方向上面側（分光フィルタ層４９ｂ側）を充填材４８で充填して平坦化した後、充填材４８の上に分光フィルタ層４９ｂを形成している。
【００５５】
充填材４８は、偏光フィルタ層４７の金属ワイヤー間の凹部に充填される。充填材４８は、フィルタ基板４６よりも屈折率が低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施の形態における充填材４８は、偏光フィルタ層４７の金属ワイヤー部分の積層方向上面も覆うように形成されている。
【００５６】
充填材４８の材料には、偏光フィルタ層４７の凹凸面を平坦化でき、かつ、偏光フィルタ層４７の機能を妨げない材料を用いる必要があるため、偏光機能を有しない材料を用いることが好ましい。又、充填材４８の材料には、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料を用いることが好ましい。
【００５７】
充填材４８の具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましい。より詳しくは、ポーラスシリカ（ＳｉＯ２）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ２Ｏ３）等を挙げることができる。
【００５８】
又、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。フィルタ基板４６の主成分が水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００５９】
充填材４８の形成方法としては、これに限られるものではないが、例えば、ＳＯＧ（Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）４）をアルコールに溶かした溶剤を、フィルタ基板４６上に形成された偏光フィルタ層４７上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させることで形成できる。
【００６０】
偏光フィルタ層４７はサブ波長サイズのワイヤーグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本実施の形態の光学フィルタ４２は、画像センサ４３に密着配置することが望まれるため、その製造段階において光学フィルタ４２と画像センサ４３とが接触する可能性がある。
【００６１】
本実施の形態では、偏光フィルタ層４７の積層方向上面（画像センサ４３側の面）が充填材４８によって覆われているので、画像センサ４３と接触した際にワイヤーグリッド構造が損傷する事態を抑制できる。又、本実施の形態のように充填材４８を偏光フィルタ層４７のワイヤーグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止できる。
【００６２】
なお、充填材４８の上に積層される分光フィルタ層４９ｂを充填材４８のような保護層で保護してもよいが、本実施の形態では、分光フィルタ層４９ｂについては充填材４８のような保護層を設けていない。これは、発明者らの実験によれば、画像センサ４３に分光フィルタ層４９ｂが接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。
【００６３】
又、偏光フィルタ層４７の金属ワイヤー（凸部）の高さは使用波長の半分以下と低い一方、分光フィルタ層４９ｂは使用波長と同等から数倍程度の高さとなる。充填材４８の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ４２の特性に影響を与えるので、充填材４８を厚くするにも限度がある。そのため、本実施の形態では、分光フィルタ層４９ｂを充填材で覆っていない。
【００６４】
ここで、分光フィルタ層４９ａ及び４９ｂの透過率特性について説明する。図１０は、分光フィルタ層４９ａの透過率特性を例示する図である。図１１は、分光フィルタ層４９ｂの透過率特性を例示する図である。
【００６５】
図１０を参照するに、分光フィルタ層４９ａは、波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光領域の入射光及び波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光を透過させ、波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有する。波長範囲４００ｎｍ〜６７０ｎｍ及び波長範囲９４０〜９７０ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。波長範囲６７０ｎｍ〜９４０ｎｍの透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。
【００６６】
可視光領域の入射光は車両周辺情報を検出するために用い、赤外光領域の入射光は雨滴情報を検出するために用いる。波長範囲６７０ｎｍ〜９４０ｎｍの入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データが全体的に赤くなってしまい、テールランプの赤色を示す部分等を抽出することが困難となる場合があるからである。
【００６７】
そこで、図１０に示すような赤外光領域の大部分の波長範囲（６７０ｎｍ〜９４０ｎｍ）をカットする特性をもつフィルタを形成すれば、外乱光を除去できるため、例えばテールランプの検出精度を向上させることができる。
【００６８】
なお、外乱光を除去するという観点からは、光源３０の波長範囲９４０〜９７０ｎｍも透過しないことが望ましい。しかし、波長範囲９４０〜９７０ｎｍは、可視光帯域に比較して帯域が狭小であること等により、受光量が十分に小さいため、テールランプの検出等への影響は無視できる。
【００６９】
なお、波長範囲９４０〜９７０ｎｍは、本発明に係る第１の波長範囲の代表的な一例である。又、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る第２の波長範囲の代表的な一例である。
【００７０】
図１１を参照するに、分光フィルタ層４９ｂは、波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光を透過させ、その他の波長範囲（〜９４０ｎｍ及び９７０ｎｍ〜）の入射光をカットする透過率特性を有する。波長範囲９４０〜９７０ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。その他の波長範囲（〜９４０ｎｍ及び９７０ｎｍ〜）の透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。
【００７１】
図１０及び図１１の透過率特性より、分光フィルタ層４９ａのみが形成されている領域（例えば、画像センサ４３の中央部１／２に対応する領域）では、分光フィルタ層４９ａの特性により、波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光領域の入射光及び波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光が透過する。
【００７２】
又、分光フィルタ層４９ａ及び４９ｂの両方が形成されている領域（例えば、画像センサ４３の上下１／４に対応する領域）では、分光フィルタ層４９ａと分光フィルタ層４９ｂとを組み合わせた特性により、波長範囲９４０〜９７０ｎｍの入射光のみが透過する。
【００７３】
なお、赤外光領域での検出感度を高めるため、波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等にしておくのが望ましい。換言すれば、分光フィルタ層４９ｂは、入射光のうち光源３０の発振波長範囲を含む波長帯域の光を選択的に透過させる特性を有することが望ましい。波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等とすることにより、光源３０から照射された赤外波長光の反射光を、大光量の外乱光と区別し易くできる。
【００７４】
例えば、分光フィルタ層４９ａ及び４９ｂが存在しない場合、フロントガラス１０１で反射した光源３０から照射された赤外波長光の反射光を撮像装置４０で撮像する際、撮像装置４０の画像センサ４３では、光源３０から照射された赤外波長光の反射光の他、例えば太陽光等の大光量の外乱光も受光される。
【００７５】
よって、光源３０からの赤外波長光をこのような大光量の外乱光と区別するためには、光源３０の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源３０を用いることは困難である場合が多い。
【００７６】
そこで、撮像装置４０に入射する光路上に、図１０及び図１１に示す透過率特性を有する分光フィルタ層４９ａ及び４９ｂを設ける。これにより、光源３０から照射された赤外波長光の反射光以外は大幅にカットされるため、光源３０から照射された赤外光の反射光を画像センサ４３で受光できる。この際、波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等にしておけば、光源３０から照射された赤外光の反射光の受光量が増えるので、光源３０から照射された赤外光の反射光を画像センサ４３で精度よく受光できる。
【００７７】
分光フィルタ層４９ａのみが形成されている領域（例えば、画像センサ４３の中央部１／２に対応する領域）は、対向車両のヘッドランプや先行車両のテールランプ、白線等の検出に用いる車両検出用画像領域となる。又、分光フィルタ層４９ａ及び４９ｂの両方が形成されている領域（例えば、画像センサ４３の上下１／４に対応する領域）は、雨滴の検出に用いる雨滴検出用画像領域（付着物検出用画像領域）となる。
【００７８】
但し、図１０及び図１１に示す透過率特性（透過率のピークが光源３０の発振波長と略一致したバンドパスフィルタを含む特性）に代えて、図１２及び図１３に示す透過率特性を有してもよい。つまり、図１２及び図１３に示すように、光源３０の発振波長よりも短波長側の光をカットする特性にしてもよい。又、図１０と図１３とを組み合わせて用いてもよいし、図１１と図１２とを組み合わせて用いてもよい。
【００７９】
なお、本実施の形態では、偏光フィルタ４７を用いて光学フィルタ４２への入射光のうちのＰ偏光成分のみを透過させ、Ｓ偏光成分をカットしている。これにより、例えば雨滴の有無を検出する際、Ｓ偏光成分が除去されているため、路面に反射した光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。これにより、雨滴の識別率を向上できる。
【００８０】
又、例えば白線や対向車両のヘッドランプ、先行車両のテールランプ等を識別する際、Ｓ偏光成分が除去されているため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。これにより、白線や対向車両のヘッドランプ、先行車両のテールランプの識別率を向上できる。
【００８１】
特に、雨路において、路面を覆った水面からの反射光はＳ偏光成分が多いことが一般に知られている。よって、Ｓ偏光成分が除去された画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率を向上できる。
【００８２】
なお、画像センサ４３の中央部１／２に対応する領域を車両検出用画像領域とし、画像センサ４３の上下１／４に対応する領域を雨滴検出用画像領域（付着物検出用画像領域）としたのは一例であり、これに限定されることはない。
【００８３】
次に、分光フィルタ層４９ｂの構造や作製方法について説明する。分光フィルタ層４９ｂは、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長（例えば赤外光以外の波長帯域）に対して１００％近い反射率を実現することも可能である。
【００８４】
本実施の形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する画像センサ４３を選択している。分光フィルタ層４９ｂは赤外光の一部のみを透過させればよいので、分光フィルタ層４９ｂの多層膜部分の透過波長範囲を例えば９００ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図１３参照）を形成すればよい。
【００８５】
このようなカットフィルタは、光学フィルタ４２の積層方向下側から順に、「基板／（０．１２５Ｌ ０．２５Ｈ ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得られる。ここでいう「基板」は、上述した充填材４８を意味する。又、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ２）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、したがって「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。
【００８６】
同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ２）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、したがって「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。又、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップル等の影響を抑制できる。又、媒質Ａは、空気或いは画像センサ４３との密着接合のための樹脂や接着剤を意図するものである。
【００８７】
又、分光フィルタ層４９ｂにおいて、赤外光波長帯のみを透過する多層膜構造としては、透過波長範囲が９４０〜９７０ｎｍの範囲であるバンドパスフィルタ（図１１参照）であってもよい。このようなバンドパスフィルタであれば、赤外光よりも長波長側の赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｐ（０．１２５Ｌ ０．５Ｈ ０．１２５Ｌ）ｑ（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得られる。なお、高屈折率材料として二酸化チタン（ＴｉＯ２）、低屈折率材料として二酸化珪素（ＳｉＯ２）等を使用すれば、対候性の高い分光フィルタ層４９ｂを実現できる。
【００８８】
分光フィルタ層４９ｂの作製方法の一例について説明すると、まず、フィルタ基板４６及び偏光フィルタ層４７上に形成された充填材４８上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、周知の蒸着等の方法を用いればよい。続いて、非分光領域（例えば、画像センサ４３の中央部１／２に対応する領域）に対応する箇所について多層膜を除去する。
【００８９】
この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材４８の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【００９０】
本実施の形態では、分光フィルタ層４９ｂとして多層膜構造を採用しているので、分光特性の設定自由度が高いとう利点がある。一般に、カラーセンサ等に用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施の形態では、分光フィルタ層４９ｂとして多層膜構造を採用しているので、光源３０の波長と雨滴検出エリアの波長帯域を略一致させることができる。
【００９１】
なお、以上の説明は分光フィルタ層４９ｂを中心に行ったが、分光フィルタ層４９ａも分光フィルタ層４９ｂと同様の多層膜構造により実現できる。
【００９２】
ここで、雨滴検出用画像領域を上下に設けた理由について説明する。図１４は、撮像画像を例示する図である。
【００９３】
対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の画像は、主に撮像画像中央部に存在することが多い。又、撮像画像下部には自車両前方の直近の路面１１７の画像が存在し、撮像画像上部には空１１８の画像が存在することが通常である。つまり、対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像上部及び撮像画像下部の情報はあまり重要ではない。
【００９４】
よって、単一の撮像画像データから、対向車両や先行車両１１５或いは白線１１６の検出と雨滴１０２の検出とを両立して行う場合には、図１４に示すように、撮像画像中央部を車両検出用画像領域１１１とし、撮像画像上部及び撮像画像下部をそれぞれ雨滴検出用画像領域１１２及び１１３とすることが好適である。
【００９５】
従って、図１４の車両検出用画像領域１１１に対応して図８に示すような分光フィルタ層４９ａを設け、図１４の雨滴検出用画像領域１１２及び１１３に対応して図８に示すような分光フィルタ層４９ａ及び４９ｂを設けている。
【００９６】
なお、撮像装置４０の撮像方向を下方へ傾けると、撮像領域内の下部に自車両のボンネット（図１４の雨滴検出用画像領域１１３中の破線で示した部分）が入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプ等が外乱光となり、これが撮像画像データに含まれることになる。
【００９７】
このような場合でも、本実施の形態では、撮像画像下部に対応する箇所に分光フィルタ層４９ａ及び４９ｂを設けているので、ボンネットで反射した太陽光や先行車両１１５のテールランプ等の外乱光が除去される。よって、雨滴１０２の検出精度を向上できる。
【００９８】
なお、先行車両１１５を検出する際には、撮像画像上のテールランプを識別することで先行車両１１５の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、又、街灯等の外乱光も多く存在する。そのため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。
【００９９】
そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。但し、本実施の形態の画像センサ４３を構成する各画素は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ４３で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなる。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。
【０１００】
本実施の形態では、前述のように、分光フィルタ層４９ａが波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有するので、テールランプの識別に用いる撮像画像データ部分から赤外波長帯の大部分が除外され、テールランプの識別精度を向上できる。
【０１０１】
なお、図８では、光学フィルタ４２と画像センサ４３との間に空隙がある構成としているが、光学フィルタ４２を画像センサ４３に密着させる構成とした方が好ましい。光学フィルタ４２の偏光フィルタ層４７と分光フィルタ層４９ｂの各領域の境界と画像センサ４３上の各画素間の境界とを一致させやすくなるからである。つまり、光学フィルタ４２と画像センサ４３を密着接合することにより、雨滴検出エリアと車両周辺情報を検出するエリアの境界が明確になり、雨滴有無の判別精度を上げることができる。
【０１０２】
光学フィルタ４２を画像センサ４３に密着させる場合は、例えば、光学フィルタ４２と画像センサ４３をＵＶ接着剤で接合してもよいし、撮像に用いる有効撮像領域外でスペーサにより支持した状態で有効撮像領域外の四辺領域をＵＶ接着や熱圧着してもよい。
【０１０３】
なお、分光フィルタ層４９ａ及び４９ｂをフィルタ基板４６の両側に形成することにより、光学フィルタ４２の反りを抑制することが可能となる。すなわち、フィルタ基板４６の片側だけに多層膜（分光フィルタ層）を形成すると応力がかかり反りが生じる。しかしながら、図８のようにフィルタ基板４６の両側に多層膜（分光フィルタ層）を形成した場合は、応力の効果が相殺されるため、反りを抑制できる。
【０１０４】
又、分光フィルタ層４９ｂを上下の何れか一方にのみに設けた場合、光学フィルタ４２と画像センサ４３を平行に接着することは難しくＺ軸に対して傾いてしまう。傾いて接着してしまうと撮像画像上部と撮像画像下部とで光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤り等の認識精度の劣化原因となる。図８に示したように、分光フィルタ層４９ｂを上下に設けることにより、このような問題を解消できる。
【０１０５】
但し、分光フィルタ層４９ａ及び４９ｂをフィルタ基板４６の一方の側に形成した場合や、分光フィルタ層４９ｂを上下の何れか一方にのみに設けた場合も、一定の効果を奏する。
【０１０６】
なお、本実施の形態では、撮像レンズ４１の特性により、撮像領域内の光景と画像センサ４３上の像とでは天地が逆になる。
【０１０７】
ここで、雨滴検出及び車両検出について、更に詳しく説明する。図１５は、雨滴検出及び車両検出に関わる光線を例示する図である。
【０１０８】
光源３０は、雨滴１０２と空気との境界面の何れかの位置での反射光が撮像装置４０で撮像されるように、フロントガラス１０１への入射角度が設定される。雨滴１０２と空気との境界面からの反射光が最も強くなるレイアウトは、撮像レンズ４１の光軸と交差するフロントガラス１０１の法線に対して光源３０が撮像レンズ４１の光軸と略反対側の位置に設置された場合、及び光源３０が撮像レンズ４１の光軸とほぼ同じ光軸となるように設置された場合である。
【０１０９】
又、雨滴１０２と空気との境界面からの反射光が最も弱くなるのは、撮像レンズ４１の光軸と交差するフロントガラス１０１の法線と光源３０の光軸とがほぼ一致した場合である。ここでは、一例として、光源３０は、フロントガラス１０１の外壁面での正反射光が撮像レンズ４１の光軸と略一致するように配置されているとする。
【０１１０】
光線Ａは、光源３０から照射してフロントガラス１０１を通過する光線である。フロントガラス１０１の外壁面に雨滴１０２が付着していない場合、光源３０からフロントガラス１０１に向けて照射された光は、光線Ａのように、フロントガラス１０１を透過してそのまま自車両の外部に漏れ出る。そのため、光源３０としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図１５に示すように、光源３０からフロントガラス１０１に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。
【０１１１】
光線Ｂは、光源３０からの照射光がフロントガラス１０１の内壁面で正反射して撮像装置４０へ入射する光線である。光源３０からフロントガラス１０１へ向かう光の一部はフロントガラス１０１の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図１５の紙面に対して垂直な方向）に振動するＳ偏光成分が支配的であることが知られている。
【０１１２】
光源３０から照射されてフロントガラス１０１の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０１の外壁面に付着する雨滴１０２の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施の形態では、光線Ｂ（Ｓ偏光成分）が偏光フィルタ層４７によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。
【０１１３】
光線Ｃは、光源３０からの照射光がフロントガラス１０１の内壁面を透過し、その後、フロントガラス１０１の外壁面に付着する雨滴１０２と空気との界面で反射して撮像装置４０へ入射する光線である。光源３０からフロントガラス１０１へ向かう光の一部はフロントガラス１０１の内壁面を透過するが、その透過光はＳ偏光成分よりもＰ偏光成分の方が多い。
【０１１４】
そして、フロントガラス１０１の外壁面に雨滴１０２が付着している場合、フロントガラス１０１の内壁面を透過した光は、上記光線Ａのように外部へ漏れ出ずに、雨滴１０２と空気との界面で反射して撮像装置４０側に向けて再度フロントガラス１０１内を透過し、撮像装置４０に入射する。
【０１１５】
このとき、分光フィルタ層４９ａは、光源３０の発振波長（赤外光）を透過させるように構成されているので、光線Ｃは分光フィルタ層４９ａを透過する。又、偏光フィルタ層４７は、Ｐ偏光成分を透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、Ｐ偏光成分を主成分とする光線Ｃは偏光フィルタ層４７も透過する。又、分光フィルタ層４９ｂは、光源３０の発振波長（赤外光）を透過させるように構成されているので、光線Ｃは分光フィルタ層４９ｂも透過する。よって、光線Ｃは、画像センサ４３の雨滴検出用画像領域に到達し、その受光量によって雨滴１０２の検出を行うことができる。
【０１１６】
光線Ｄは、フロントガラス１０１の外部からフロントガラス１０１を透過して撮像装置４０の画像センサ４３の雨滴検出用画像領域に向かって入射する光線である。光線Ｄは雨滴検出時の外乱光となり得るが、本実施の形態では、分光フィルタ層４９ａ及び４９ｂによって赤外光の一部を除く大部分がカットされ、光線Ｄの大部分は画像センサ４３の雨滴検出用画像領域には到達しない。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。
【０１１７】
光線Ｅは、フロントガラス１０１の外部からフロントガラス１０１を透過して撮像装置４０の画像センサ４３の車両検出用画像領域に向かってに入射する光線である。光線ＥのＰ偏光成分は、分光フィルタ層４９ａ及び４９ｂの透過率特性により、可視光と赤外光の一部のみが分光フィルタ層４９ａ及び４９ｂを透過して画像センサ４３の車両検出用画像領域に到達し撮像される。
【０１１８】
この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出等に利用される。なお、光線ＥのＳ偏光成分は偏光フィルタ層４７により除去されるため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。
【０１１９】
次に、画像処理装置１０で撮像画像を取得する際の露光量調整について説明する。一例として、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの領域（画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２からなる領域）によって撮像画像データの１ユニットを構成する場合を考える。画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２には、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂを透過した光が入射する。従って、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２では光学フィルタ４２への入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が生成される。このようにして得られる赤外光のＰ偏光成分の画像を用いて、例えば、雨滴の有無を検出できる。
【０１２０】
なお、光源３０は、連続発光（ＣＷ発光と称される場合もある）させてもよいし、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。又、複数の光源を設置した場合は、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。
【０１２１】
次に、画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２からなる領域によって撮像画像データの１ユニットを構成する。画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２には、分光フィルタ層４９ａ及び偏光フィルタ層４７を透過した光が入射する。従って、画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２では光学フィルタ４２への入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が生成される。このようにして得られる主に可視光のＰ偏光成分の画像を用いて、例えば、車両周辺情報を検出できる。
【０１２２】
なお、車両検出用画像領域を撮像するときは、光源３０は消灯しても構わないし、光源３０は常時点灯させていても構わない。
【０１２３】
次に、画素４３ｇ１、４３ｇ２、４３ｈ１、４３ｈ２からなる領域によって撮像画像データの１ユニットを構成する。画素４３ｇ１、４３ｇ２、４３ｈ１、４３ｈ２からなる領域では、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２からなる領域と同様に、赤外光のＰ偏光成分による画像が生成され、例えば、雨滴の有無を検出できる。なお、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２の場合と同様に、光源３０を発光させる。
【０１２４】
同様にして、他の隣接する縦２つ横２つの合計４つの領域を１ユニットとして順次画像を生成する。これにより、画像センサ４３全体の画像が生成される。但し、必ずしも、雨滴検出用画像領域と車両検出用画像領域の画像を交互に生成する必要はなく、同一領域の画像を連続して生成してもよい。
【０１２５】
なお、ここでは、４画素を１ユニットとする例を示したが、これに限定されることはない。例えば、画像センサ４３の上下に配置された雨滴検出用画像領域を撮像するときは、光源３０からの反射光の画像センサ４３上のスポットサイズ相当の画素領域を１ユニットとすることができるし、画像センサ４３の中央に配置された車両検出用画像領域を撮像するときは、画像センサとしてモノクロセンサを用いた場合は１画素を１ユニットとすることができる。
【０１２６】
ところで、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂが形成されている雨滴検出用画像領域（付着物検出用画像領域）と、分光フィルタ層４９ａ及び偏光フィルタ層４７が形成され分光フィルタ層４９ｂが形成されていない車両検出用画像領域とでは、取得光量が大きく異なる。雨滴検出用画像領域には主に光源３０が照射する赤外光の反射光のみが入射するが、車両検出用画像領域には主に可視光が入射するからである。
【０１２７】
そこで、雨滴検出用画像領域を撮像する場合と車両検出用画像領域を撮像する場合で露光量を変えることが好ましい。これにより、雨滴検出用画像領域及び車両検出用画像領域それぞれについて、最適な露光量で画像を撮像できる。例えば、遠方の画像を撮像する場合は、車両検出用画像領域の部分を検出しながら車両検出用画像領域の画像情報に基づいて自動露光調整を行い、雨滴の画像を撮像する場合は、雨滴検出用画像領域の部分を検出しながら雨滴検出用画像領域の画像情報に基づいて自動露光調整を行えばよい。
【０１２８】
露光量を変えるには、例えば、雨滴検出用画像領域を撮像する際と、車両検出用画像領域を撮像する際とで露光時間を変えてやればよい。例えば、画像解析ユニット５０が、画像センサ４３が入射光を電気信号に変換する時間を制御することにより、露光時間を変えることができる。又、後述の第１の実施の形態の変形例３のように、分光フィルタ層４９ｂが形成されていない領域に画像センサ４３の各画素に対応した開口制限部を設けることにより露光量を変えることもできる。
【０１２９】
車両検出用画像領域は、周辺の光量変化が大きい。撮像装置が撮像する車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお、本実施の形態では、被写体は路面周辺にあるため、路面領域の画像情報に基づいて露光制御を行うのが望ましい。
【０１３０】
一方、雨滴検出用画像領域については、光源３０からの照射光に対する付着物からの反射光のみを取り込むように設定されているため、周辺環境による光量の変化は小さい。そこで、雨滴検出用画像領域については、固定露光時間で撮像する（露光量を固定として撮像する）ことも可能である。
【０１３１】
図１６は、撮像画像を例示する図である。図１６（ａ）はフロントガラス１０１の外壁面に雨滴が付着しているときの撮像画像の例であり、図１６（ｂ）はフロントガラス１０１の外壁面に雨滴が付着していないときの撮像画像の例である。なお、本実施の形態では、撮像画像上部及び撮像画像下部に雨滴検出用画像領域を設けているが、図１６は画像上部の雨滴検出用画像領域を除いた画像となっている。
【０１３２】
図１６（ａ）及び図１６（ｂ）の撮像画像は、図中「detected area」と記載された撮像画像下部が雨滴検出用画像領域１１３であり、残りが車両検出用画像領域１１１である。雨滴検出用画像領域１１３には、雨滴が付着しているときは図１６（ａ）に示すように光源３０からの光が映し出され、雨滴が付着していないときは図１６（ｂ）に示すように光源３０からの光が映し出されない。
【０１３３】
又、「Rain detected」との表示は、雨滴が認識されている状態を示しており、「Rain not detected」との表示は、雨滴が認識されていない状態を示している。このような雨滴検出用画像領域１１３における雨滴画像の認識処理は、光源３０からの照射光に対する付着物からの反射光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置４０が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。例えば、車両検出用画像領域１１１の露光調整情報等をもとに最適値を算出して、閾値を変更してもよい。
【０１３４】
［第１の実施の形態の変形例１］
第１の実施の形態の変形例１では、画像センサ４３側の分光フィルタ層の領域分割方法を変更した例を示す。なお、第１の実施の形態の変形例１において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１３５】
図１７は、第１の実施の形態の変形例１に係る光学フィルタ４２Ａをセンサ基板４４側から視た図である。図１８は、第１の実施の形態の変形例１に係る光学フィルタ４２Ａと画像センサ４３の位置関係の対応を例示する図である。図１９は、図１７のＢ−Ｂ線に沿う断面図である。図２０は、図１７のＣ−Ｃ線に沿う断面図である。
【０１３６】
画像センサ４３の光学フィルタ４２Ａと対向する面をセンサ基板４４側から透視した図は図６と同様であるため、図示は省略する。なお、図１７及び図１８において、便宜上、分光フィルタ層４９ｃ及び画像センサ４３上の分光フィルタ層４９ｃに対応する領域を梨地模様で描いている。又、図１８に示す光学フィルタ４２Ａにおいて、分光フィルタ層４９ｃの外周部分に描いた破線は有効撮像領域を示している。
【０１３７】
図１７〜図２０を参照するに、第１の実施の形態の変形例１に係る光学フィルタ４２Ａは、分光フィルタ層４９ｃが画像センサ４３の各画素に対応した市松状のパターンに形成されている点が、第１の実施の形態と相違する。
【０１３８】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ２及び４３ｂ１で光学フィルタ４２Ａへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１３９】
又、光源３０を消灯したタイミングで、画素４３ａ１及び４３ｂ２で光学フィルタ４２Ａへの入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が得られる。更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１４０】
このようにして得られる赤外光のＰ偏光成分の画像や主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。
【０１４１】
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが（隣接する画素領域の情報が不足するが）、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度で赤外光のＰ偏光成分の画像を得ようとする場合には、以下のようにすればよい。
【０１４２】
すなわち、画素４３ａ２及び４３ｂ１については赤外光のＰ偏光成分の情報をそのまま使用し、画素４３ｂ２については、例えばその周囲を取り囲む画素４３ａ２、４３ｂ１、４３ｂ３、及び４３ｃ２の平均値を赤外光のＰ偏光成分の情報として使用すればよい。より高い解像度で主に可視光のＰ偏光成分の画像を得ようとする場合も同様である。
【０１４３】
［第１の実施の形態の変形例２］
第１の実施の形態の変形例２では、画像センサ４３側の分光フィルタ層の領域分割方法を変更した他の例を示す。なお、第１の実施の形態の変形例２において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１４４】
図２１は、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂをセンサ基板４４側から視た図である。図２２は、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂと画像センサ４３の位置関係の対応を例示する図である。図２３は、図２１のＤ−Ｄ線に沿う断面図である。図２４は、図２１のＥ−Ｅ線に沿う断面図である。
【０１４５】
画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図は図６と同様であるため、図示は省略する。なお、図２１及び図２２において、便宜上、分光フィルタ層４９ｄ及び画像センサ４３上の分光フィルタ層４９ｄに対応する領域を梨地模様で描いている。又、図２２に示す光学フィルタ４２Ｂにおいて、分光フィルタ層４９ｄの外周部分に描いた破線は有効撮像領域を示している。
【０１４６】
図２１〜図２４を参照するに、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂは、分光フィルタ層４９ｄが画像センサ４３の各画素に対応したストライプ状のパターンに形成されている点が、第１の実施の形態と相違する。
【０１４７】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ１及び４３ｂ１で光学フィルタ４２Ｂへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１４８】
又、光源３０を消灯したタイミングで、画素４３ａ２及び４３ｂ２で光学フィルタ４２Ｂへの入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が得られる。更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１４９】
このようにして得られる赤外光のＰ偏光成分の画像や主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第１の実施の形態の変形例１と同様に、画像補間技術を用いてもよい。
【０１５０】
第１の実施の形態の変形例２に特有の効果は以下の通りである。すなわち、第１の実施の形態の変形例２では分光フィルタ層４９ｄをストライプ状のパターンに形成することにより、第１の実施の形態の変形例１の市松状のパターンに比べ、画像センサ４３の各画素と光学フィルタ４２Ｂの分光フィルタ層４９ｄ形成部分との位置ズレ精度を緩和できる。
【０１５１】
すなわち、第１の実施の形態の変形例１のような市松状のパターンの場合、画像センサ４３の各画素と光学フィルタ４２Ａの分光フィルタ層４９ｃ形成部分とを一致させるためには、Ｙ方向及びＺ方向それぞれについて位置調整する必要がある。これに対して、第１の実施の形態の変形例２のようなストライプ状のパターンでは、画像センサ４３の各画素と光学フィルタ４２Ｂの分光フィルタ層４９ｄ形成部分とを一致させるためには、Ｙ方向のみ位置調整すればよい。これにより、光学フィルタ４２Ｂと画像センサ４３とを接着する工程において、組立時間の短縮や組付装置の簡素化が可能となる。
【０１５２】
なお、ストライプ状のパターンのストライプ方向（図２１のＺ方向）は、雨滴１０２を照射するための光源３０の照射方向に合わせて設定することが望ましい。より具体的には、ストライプ状のパターンのストライプ方向（図２１のＺ方向）は、光源３０のフロントガラス１０１へ向かう照射光の光軸と撮像レンズ４１の光軸とで形成される面に対して平行であることが望ましい。
【０１５３】
これは、フロントガラス１０１に付着した雨滴１０２を撮像すると、縦方向（Ｚ方向）が圧縮された画像が得られるためである。すなわち、図２１のように、縦方向（Ｚ方向）にストライプ方向を有することにより、縦方向（Ｚ方向）の赤外光情報を取り出す解像度が上がるため、縦方向（Ｚ方向）が圧縮された画像からも精度よく雨滴を検出できる。
【０１５４】
［第１の実施の形態の変形例３］
第１の実施の形態の変形例３では、分光フィルタ層の形成されていない領域に開口制限部を設けた例を示す。なお、第１の実施の形態の変形例３において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１５５】
図２５は、第１の実施の形態の変形例３に係る光学フィルタ４２Ｃをセンサ基板４３側から視た図である。光学フィルタ４２Ｃと画像センサ４３の位置関係や断面図は第１の実施の形態の変形例１と同様であるため、図示は省略する。なお、図２５において、便宜上、分光フィルタ層４９ｂを梨地模様で描き、開口制限部４９ｙを灰色で描いている。
【０１５６】
図２５を参照するに、第１の実施の形態の変形例３に係る光学フィルタ４２Ｃは、分光フィルタ層４９ｂが形成されていない領域に画像センサ４３の各画素に対応した開口部４９ｘ及び開口制限部４９ｙを設けた点が、第１の実施の形態の変形例１と相違する。
【０１５７】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ２及び４３ｂ１で光学フィルタ４２Ｃへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１５８】
又、光源３０を消灯したタイミングで、画素４３ａ１及び４３ｂ２で光学フィルタ４２Ｃへの入射光のうちの開口制限された主に可視光のＰ偏光成分が受光され、開口制限された主に可視光のＰ偏光成分による画像が得られる。但し、画素４３ａ１及び４３ｂ２では、開口制限された主に可視光のＰ偏光成分が受光されるため、主に可視光のＰ偏光成分による画像は、第１の実施の形態の変形例１よりも少ない受光量によって生成される。
【０１５９】
更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１６０】
このようにして得られる赤外光のＰ偏光成分の画像や開口制限された主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第１の実施の形態の変形例１と同様に、画像補間技術を用いてもよい。
【０１６１】
図２６に、開口制限部の一例を示す。図２６では、開口部４９ｘは円形状のワイヤーグリッド構造からなり、開口部４９ｘの周辺部にはアルミニウムのベタ膜からなる開口制限部４９ｙが形成されている。これにより、分光フィルタ層４９ｂが形成されていない領域の受光量を制限できる。
【０１６２】
図２６に示す構成によれば、入射光はアルミニウムのベタ膜からなる開口制限部４９ｙで遮光されるので、ワイヤーグリッド構造からなる開口部４９ｘの広狭（開口率）によって、分光フィルタ層４９ｂが形成されていない領域を透過する光の受光量を制限できる。
【０１６３】
なお、ワイヤーグリッド構造からなる開口部４９ｘの形状は、図２６に示した円形状に限らず、例えば、図２７に示すような略四角形状であってもよい。図２７に示すように角部を有する形状とする場合、その角部にＲを持たせた方がエッチング加工等で形状寸法を出しやすい点で好適である。
【０１６４】
開口部４９ｘ及び開口制限部４９ｙは、例えば、偏光フィルタ層４７と同時に作製できる。具体的には、フィルタ基板４６上にアルミニウム膜を均一に形成後、エッチング加工等により分光フィルタ層４９ｂを形成する領域及び開口部４９ｘを形成する領域のアルミニウム膜を除去し、アルミニウム膜を除去した部分にワイヤーグリッド構造を形成すればよい。
【０１６５】
このように、ワイヤーグリッド構造の周辺部にアルミニウムの遮光領域を設けて開口制限を行う場合には、ワイヤーグリッド構造の形成時にその周辺部のアルミニウム膜を残すように加工することで開口制限することができる。このワイヤーグリッド構造が開口部４９ｘとなると共に偏光フィルタ層４７ともなるため、偏光フィルタ層４７とは別個に開口制限用の加工を行う場合よりも、製造工程を簡略化できる。
【０１６６】
なお、偏光フィルタ層４７とは別の層に、図２８に示すような開口制限部４９ｙを設けてもよい。この場合、開口部４９ｘ内部にはワイヤーグリッド構造が形成されない。
【０１６７】
また、開口制限部４９ｙは、上述したようなアルミニウム膜等の反射膜に限定されるものではなく、例えば光を吸収する膜で形成してもよい。例えば、図２９に示すように、ブラックレジストのベタ膜によって開口制限部４９ｙを形成してもよい。この場合も、開口部４９ｘは、図２９に示した円形状に限らず、例えば、図３０に示すような略四角形状であってもよい。
【０１６８】
又、分光フィルタ層４９ｂが形成されていない領域の画像センサ４３の各画素に対応した領域毎に、複数の開口部４９ｘを設けてもよい。分光フィルタ層４９ｂが形成されていない領域の画像センサ４３の各画素に対応した領域毎に、複数の開口制限部４９ｙを設けてもよい。又、必ずしも開口部４９ｘの周囲に開口制限部４９ｙを設けなくてもよく、開口部４９ｘの中に開口制限部４９ｙを設けてもよい。例えば、図３１に示すように、ワイヤーグリッド構造からなる開口部４９ｘの中にアルミニウムのベタ膜からなる開口制限部４９ｙを離散的に配置してもよい。
【０１６９】
第１の実施の形態の変形例３に特有の効果は以下の通りである。すなわち、例えば、主に可視光のＰ偏光成分の受光量を赤外光のＰ偏光成分の受光量と同等となるように開口制限部４９ｙを作製すれば、煩雑な露光制御を行うことなく一度の露光で雨滴有無を検出する赤外光と車両周辺情報を検出する可視光の情報を得ることができる。
【０１７０】
〈応用例〉
ここでは応用例として、本実施の形態に係る画像処理装置を用いて車載機器制御システムを構成する例について説明する。
【０１７１】
図３２は、本実施の形態に係る画像処理装置を備えた車載機器制御システムの概略構成を例示する模式図である。図３２を参照するに、車載機器制御システム３００は、本実施の形態に係る画像処理装置１０と、ヘッドランプ制御ユニット３１０と、ワイパー制御ユニット３２０と、車両走行制御ユニット３３０、ヘッドランプ３５０と、ワイパー３６０とを有する。なお、図３２において、４００は自動車等の自車両を示している。
【０１７２】
車載機器制御システム３００は、自車両４００に搭載された画像処理装置１０の撮像装置４０で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行う機能を有する。
【０１７３】
撮像装置４０で撮像された撮像画像データは、画像解析ユニット５０に入力される。画像解析ユニット５０は、前述のように、撮像装置４０から送信される撮像画像データを解析することにより、例えば、自車両４００の前方に存在する他車両の位置や方角、距離等を算出する。
【０１７４】
又、画像解析ユニット５０は、前述のように、他車両のテールランプを識別することで自車両４００と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両４００とは反対方向へ進行する対向車両を検出したりする。又、画像解析ユニット５０は、前述のように、フロントガラス１０１に付着する雨滴１０２や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。
【０１７５】
画像解析ユニット５０の解析結果は、ヘッドランプ制御ユニット３１０に送られる。ヘッドランプ制御ユニット３１０は、例えば、画像解析ユニット５０が算出した距離データから、自車両４００の車載機器であるヘッドランプ３５０を制御する制御信号を生成する。
【０１７６】
具体的には、例えば、先行車両や対向車両の運転者の目に自車両４００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両４００の運転者の視界確保を実現できるように、ヘッドランプ３５０のハイビーム及びロービームの切り替えを制御したり、ヘッドランプ３５０の部分的な遮光制御を行ったりする。
【０１７７】
画像解析ユニット５０の解析結果は、ワイパー制御ユニット３２０にも送られる。ワイパー制御ユニット３２０は、ワイパー３６０を制御して、自車両４００のフロントガラス１０１に付着した雨滴１０２や異物等の付着物を除去する。ワイパー制御ユニット３２０は、画像解析ユニット５０が検出した異物検出結果を受けて、ワイパー３６０を制御する制御信号を生成する。ワイパー制御ユニット３２０により生成された制御信号がワイパー３６０に送られると、自車両４００の運転者の視界を確保すべく、ワイパー３６０を稼動させる。
【０１７８】
又、画像解析ユニット５０の解析結果は、車両走行制御ユニット３３０にも送られる。車両走行制御ユニット３３０は、例えば、画像解析ユニット５０が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両４００が外れている場合等に、自車両４００の運転者へ警告を報知する。又、車両走行制御ユニット３３０は、例えば、自車両４００のハンドルやブレーキを制御する等の走行支援制御を行ったりする。
【０１７９】
このように、本実施の形態に係る画像処理装置１０を用いて車載機器制御システム３００を構成することができる。但し、本実施の形態に係る画像処理装置１０は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステム等にも適用できる。
【０１８０】
以上、好ましい実施の形態及びその変形例について詳説したが、上述した実施の形態及びその変形例に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態及びその変形例に種々の変形及び置換を加えることができる。
【０１８１】
例えば、上記実施の形態及びその変形例では、画像センサ４３がモノクロ画像用の撮像素子であることを前提として説明した。しかし、画像センサ４３は、カラー用撮像素子であってもよい。画像センサ４３がカラー用撮像素子である場合、カラー用撮像素子の各画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層４７と分光フィルタ層４９ａ及び４９ｂの各領域の光透過特性を調整すればよい。
【０１８２】
又、上記実施の形態及びその変形例では、フィルタ基板４６の撮像レンズ４１側の面に分光フィルタ層４９ａを形成し、充填材４８の画像センサ４３側の面に分光フィルタ層４９ｂを形成する例を示した。しかし、フィルタ基板４６の撮像レンズ４１側の面に分光フィルタ層４９ｂを形成し、充填材４８の画像センサ４３側の面に分光フィルタ層４９ａを形成してもよい。
【０１８３】
但し、この場合も前者と同様の効果を奏するが、分光フィルタ層４９ａと分光フィルタ層４９ｂの境界部分が前者よりもボケて、雨滴検出用画像領域と車両検出用画像領域との境界が不明瞭となる虞がある。よって、雨滴検出用画像領域と車両検出用画像領域との境界をより明瞭にするためには、前者の構造の方が好ましい。
【符号の説明】
【０１８４】
１０ 画像処理装置
２０ 撮像ユニット
３０ 光源
４０ 撮像装置
４１ 撮像レンズ
４２、４２Ａ、４２Ｂ、４２Ｃ 光学フィルタ
４３ 画像センサ
４４ センサ基板
４５ 信号処理部
４６ フィルタ基板
４７ 偏光フィルタ層
４８ 充填材
４９ａ、４９ｂ、４９ｃ、４９ｄ 分光フィルタ層
４９ｘ 開口部
４９ｙ 開口制限部
５０ 画像解析ユニット
１０１ フロントガラス
１０２ 雨滴
１０３ カバー
１０５ 背景画像
１０６ 雨滴の一部分
１１１ 車両検出用画像領域
１１２、１１３ 雨滴検出用画像領域
１１５ 先行車両
１１６ 白線
１１７ 路面
１１８ 空
３００ 車載機器制御システム
３１０ ヘッドランプ制御ユニット
３２０ ワイパー制御ユニット
３３０ 車両走行制御ユニット
３５０ ヘッドランプ
３６０ ワイパー
４００ 自車両
【先行技術文献】
【特許文献】
【０１８５】
【特許文献１】特開２００５−２２５２５０号公報
【技術分野】
【０００１】
本発明は、自動車等の車両に搭載可能な画像処理装置に関する。
【背景技術】
【０００２】
従来より、自動車等の車両に搭載され、雨滴の検出や自動車の周辺の監視を行う画像処理装置が知られている。
【０００３】
一例を挙げれば、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズを備え、このレンズの焦点距離を第１の焦点距離と第２の焦点距離とに切り換え可能なカメラ部と、第１の焦点距離においてカメラ部が撮像した画像に基づいて、雨滴の有無を検出する雨滴検出部と、第２の焦点距離においてカメラ部が撮像した画像に基づいて、車両の周辺を監視する監視部とを具備した画像処理装置等である（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の画像処理装置は、遠近両用の焦点を有するレンズを用い、フロントガラス面に付着した雨滴を検出するときには雨滴に焦点を合わせ、車両周辺情報を検出するときには車両周辺に焦点を合わせる。このため、フロントガラス面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映り込むとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことが困難である。
【０００５】
つまり、上記の特許文献１に記載の画像処理装置では、フロントガラス面に付着した雨滴と、フロントガラスの位置より遠方の車両周辺情報とを、それぞれに好適な条件で撮像することは困難である。
【０００６】
本発明は、上記の点に鑑みてなされたものであり、フロントガラス等の透明部材に付着した付着物と、透明部材の位置より遠方の情報とを、それぞれに好適な条件で撮像可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本画像処理装置は、透明部材の一方の面側から前記透明部材に向けて照射光を照射する光源と、焦点が前記透明部材の位置よりも遠方に設定された撮像レンズ、前記撮像レンズの後段に配置された光学フィルタ、及び前記光学フィルタを透過した光を受光する２次元配置された複数の画素で構成された画像センサを備え、前記透明部材に対して前記光源と同じ側に配置された撮像装置と、を有し、前記光学フィルタは、前記撮像レンズを介して入射する入射光を透過する基板と、前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を選択的に透過させる分光フィルタ層と、を備え、前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層が形成されていない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像することを要件とする。
【発明の効果】
【０００８】
開示の技術によれば、フロントガラス等の透明部材に付着した付着物と、透明部材の位置より遠方の情報とを、それぞれに好適な条件で撮像可能な画像処理装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態に係る画像処理装置１０の概略構成を例示する模式図である。
【図２】図１の一部を拡大して例示する模式図である。
【図３】雨滴１０２に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。
【図４】無限遠に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。
【図５】光学フィルタ４２をセンサ基板４４側から視た図である。
【図６】画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図である。
【図７】第１の実施の形態に係る光学フィルタ４２と画像センサ４３の位置関係の対応を例示する図である。
【図８】図５及び図６のＡ−Ａ線に沿う断面図である。
【図９】ワイヤーグリッド構造で形成された偏光子を例示する図である。
【図１０】分光フィルタ層４９ａの透過率特性を例示する図（その１）である。
【図１１】分光フィルタ層４９ｂの透過率特性を例示する図（その１）である。
【図１２】分光フィルタ層４９ａの透過率特性を例示する図（その２）である。
【図１３】分光フィルタ層４９ｂの透過率特性を例示する図（その２）である。
【図１４】撮像画像の例を模式的に示す図である。
【図１５】雨滴検出及び車両検出に関わる光線を例示する図である。
【図１６】撮像画像を例示する図である。
【図１７】第１の実施の形態の変形例１に係る光学フィルタ４２Ａをセンサ基板４４側から視た図である。
【図１８】第１の実施の形態の変形例１に係る光学フィルタ４２Ａと画像センサ４３の位置関係の対応を例示する図である。
【図１９】図１７のＢ−Ｂ線に沿う断面図である。
【図２０】図１７のＣ−Ｃ線に沿う断面図である。
【図２１】第１の実施の形態の変形例２に係る光学フィルタ４２Ｂをセンサ基板４４側から視た図である。
【図２２】第１の実施の形態の変形例２に係る光学フィルタ４２Ｂと画像センサ４３の位置関係の対応を例示する図である。
【図２３】図２１のＤ−Ｄ線に沿う断面図である。
【図２４】図２１のＥ−Ｅ線に沿う断面図である。
【図２５】第１の実施の形態の変形例３に係る光学フィルタ４２Ｃをセンサ基板４３側から視た図である。
【図２６】開口制限部を例示する図（その１）である。
【図２７】開口制限部を例示する図（その２）である。
【図２８】開口制限部を例示する図（その３）である。
【図２９】開口制限部を例示する図（その４）である。
【図３０】開口制限部を例示する図（その５）である。
【図３１】開口制限部を例示する図（その６）である。
【図３２】本実施の形態に係る画像処理装置を備えた車載機器制御システムの概略構成を例示する模式図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１１】
なお、以下の実施の形態では、画像処理装置を自動車等の車両に搭載し、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像する例を示す。
【００１２】
［第１の実施の形態］
〈画像処理装置の概略構成〉
図１は、第１の実施の形態に係る画像処理装置１０の概略構成を例示する模式図である。図２は、図１の一部を拡大して例示する模式図である。図１及び図２を参照するに、画像処理装置１０は、撮像ユニット２０と、画像解析ユニット５０とを有する。なお、１０１は車両のフロントガラスを、１０２はフロントガラス１０１の外壁面に付着した雨滴を示している。なお、フロントガラス１０１は、本発明に係る透明部材の代表的な一例である。又、雨滴１０２は、本発明に係る付着物の代表的な一例である。
【００１３】
撮像ユニット２０は、例えば、車両のフロントガラス１０１の近傍（例えば、図示しないルームミラー付近）に設置されている。撮像ユニット２０を、例えば、少なくともフロントガラス１０１側が透明なカバー１０３に収容した状態でフロントガラス１０１の近傍に設置してもよい。
【００１４】
又、フロントガラス１０１側が開口されたカバー１０３をフロントガラス１０１に密着させ、撮像ユニット２０をフロントガラス１０１とカバー１０３で覆うように配置してもよい。この場合には、フロントガラス１０１の内壁面が曇るような状況であっても、カバー１０３で覆われた部分のフロントガラス１０１が曇ることを防止できる。その結果、フロントガラス１０１の曇りによって画像解析ユニット５０が誤解析することを抑制でき、画像解析ユニット５０の解析結果に基づく各種制御動作を適切に行うことができる。
【００１５】
但し、例えば、フロントガラス１０１の曇りを撮像ユニット２０で検出して、自車両の空調設備を制御するような場合には、撮像ユニット２０に対向するフロントガラス１０１の部分が他の部分と同じ状況となるように、カバー１０３に空気の流路を形成すればよい。
【００１６】
撮像ユニット２０は、光源３０と、撮像装置４０とを有する。光源３０は、フロントガラス１０１に付着した付着物を検出するために設けられた光源であり、フロントガラス１０１の一方の面側（内壁面側）からフロントガラス１０１に向けて照射光を照射する機能を有する。光源３０は、フロントガラス１０１に付着した付着物を検出する付着物検出用画像領域（雨滴検出用画像領域）を少なくとも照射できる位置に配置されている。
【００１７】
例えば、付着物検出用画像領域がフロントガラス１０１の下端側であれば、光源３０は、少なくともフロントガラス１０１の下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス１０１の上端側及び下端側であれば、光源３０は、少なくともフロントガラス１０１の上端側及び下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス１０１の全面であれば、光源３０は、少なくともフロントガラス１０１の全面を照射できる位置に配置される。なお、付着物検出用画像領域を確実に照射するため、複数の光源３０を配置してもよい。
【００１８】
光源３０としては、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）等を用いることができる。又、光源３０の発振波長としては、例えば、可視光や赤外光等を用いることができる。
【００１９】
但し、光源３０の光で対向車両の運転者や歩行者等を眩惑するのを回避する必要がある。そのため、光源３０の発振波長としては、可視光よりも波長が長く、かつ、後述の画像センサ４３の受光感度が及ぶ範囲の波長（例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長）を選択することが好ましい。以降、光源３０が赤外光領域の波長を有する光を照射する場合を例に挙げて説明する。
【００２０】
なお、光源３０の照射光は、略平行光であることが望ましい。光源３０の直後にコリメートレンズ等を配置することにより略平行光を生成できる。このように、光源３０は、照射光の形態を調整可能なレンズ等の構成要素を含んだものである。
【００２１】
撮像装置４０は、フロントガラス１０１に対して光源３０と同じ側に配置されており、光源３０から雨滴１０２に照射された光の反射光や、車両外部からの入射光を撮像する機能を有する。本実施の形態では、撮像レンズ４１の光軸が水平方向（Ｘ方向）を向くように撮像装置４０を配置しているが、これに限定されることはない。光源３０は、光源３０から雨滴１０２に照射された光の反射光が撮像装置４０へ入射する位置に配置されている。
【００２２】
撮像装置４０は、撮像レンズ４１と、光学フィルタ４２と、画像センサ４３と、センサ基板４４と、信号処理部４５とを有する。撮像レンズ４１は、例えば、複数のレンズから構成され、焦点がフロントガラス１０１の位置よりも遠方に設定されている。撮像レンズ４１の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０１との間に設定することができる。
【００２３】
光学フィルタ４２は、撮像レンズ４１の後段に配置され、画像センサ４３に入射する光の波長帯域を制限する機能を有する。画像センサ４３は、光学フィルタ４２を透過した光を受光する２次元配置された複数の画素で構成され、画素毎に入射光を光電変換する機能を有する。画像センサ４３は、センサ基板４４に搭載されている。なお、後述の図６等では画像センサ４３の各画素を簡略化して描いているが、実際には画像センサ４３は２次元配置された数十万個程度の画素で構成されている。
【００２４】
画像センサ４３としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。画像センサ４３の入射側に、例えば、各画素に対応するマイクロレンズ等を設け、画像センサ４３への集光効率を上げてもよい。
【００２５】
信号処理部４５は、画像センサ４３で光電変換され、センサ基板４４から出力されるアナログ電気信号（画像センサ４３の各画素への入射光量）をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部４５は、画像解析ユニット５０と電気的に接続されている。
【００２６】
光源３０からフロントガラス１０１の外壁面に付着した雨滴１０２に照射された光は、雨滴１０２と空気との界面で反射し、撮像レンズ４１及び光学フィルタ４２を経由して画像センサ４３に入射する。画像センサ４３に入射した光は、画像センサ４３で光強度に応じた電気信号に変換される。
【００２７】
信号処理部４５は、センサ基板４４を経由して画像センサ４３から電気信号（アナログ信号）が入力されると、入力された電気信号から、撮像画像データとして画像センサ４３上における各画素の明るさ（輝度）を示すデジタル信号（撮像画像データ）を、画像の水平・垂直同期信号とともに後段の画像解析ユニット５０へ出力する。
【００２８】
画像解析ユニット５０は、撮像装置４０を制御する機能や、撮像装置４０から送信される撮像画像データを解析する機能を有する。具体的には、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、画像センサ４３の撮像領域毎の最適な露光量を算出し、画像センサ４３の撮像領域毎に最適な露光量を設定する（最適な露光時間に調整する）機能を有する。
【００２９】
又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、フロントガラス１０１に付着する雨滴１０２や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする機能を有する。
【００３０】
又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。又、画像解析ユニット５０は、撮像装置４０から送信された撮像画像データから、他車両のテールランプを識別することで自車両と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両とは反対方向へ進行する対向車両を検出したりする機能を有する。
【００３１】
〈画像処理装置の詳細説明〉
ここで、画像処理装置１０について、より詳しく説明する。まず、画像解析ユニット５０の機能の一つである付着物の検出について、付着物が雨滴１０２である場合を例に挙げて詳説する。
【００３２】
〔撮像レンズ４１の焦点〕
フロントガラス１０１の外壁面に雨滴１０２が付着していない場合、光源３０から照射された光は、フロントガラス１０１の外壁面と外気との界面で反射し、その反射光が撮像装置４０へ入射する。一方、図１に示すように、フロントガラス１０１の外壁面に雨滴１０２が付着している場合、フロントガラス１０１の外壁面と雨滴１０２との間における屈折率差は、フロントガラス１０１の外壁面と外気との間の屈折率差よりも小さくなる。
【００３３】
そのため、光源３０から照射された光は、フロントガラス１０１の外壁面と雨滴１０２の界面を透過し雨滴１０２に入射する。そして、雨滴１０２に入射した光は、雨滴１０２と空気との界面で反射し、その反射光が撮像装置４０へ入射する。雨滴１０２の有無によるこのような違いによって、画像解析ユニット５０は、撮像装置４０から送信される撮像画像データから、フロントガラス１０１に付着する雨滴１０２の有無を検出できる。
【００３４】
本実施の形態では、撮像レンズ４１の焦点位置は、無限遠又は無限遠とフロントガラス１０１との間に設定している。これにより、画像解析ユニット５０は、フロントガラス１０１の外壁面に付着した雨滴１０２の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置４０の撮像画像データから適切な情報を取得できる。
【００３５】
例えば、フロントガラス１０１の外壁面に付着した雨滴１０２の検出を行う場合、撮像画像データ上の雨滴１０２の画像の形状は円形状である場合が多い。そこで、画像解析ユニット５０は、撮像画像データ上の雨滴１０２の候補画像が円形状であるかどうかを判断することにより、雨滴１０２の候補画像が雨滴１０２の画像であることを識別する形状認識処理を行う。
【００３６】
このような形状認識処理を行う場合、フロントガラス１０１の外壁面に付着した雨滴１０２に撮像レンズ４１の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０１との間に焦点が合っている方が、多少ピンボケして、雨滴１０２の形状認識率（円形状）が高くなり、雨滴１０２の検出性能が向上する。
【００３７】
図３は、雨滴１０２に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。図４は、無限遠に撮像レンズ４１の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。なお、図３及び図４は、光源３０から雨滴１０２に赤外光を照射した場合の例である。
【００３８】
図３を参照するに、フロントガラス１０１の外壁面に付着した雨滴１０２に撮像レンズ４１の焦点が合っている場合、雨滴１０２に映り込んだ背景画像１０５までが撮像される。このような背景画像１０５は雨滴１０２の誤検出の原因となる。又、雨滴１０２の一部分１０６だけが弓状等に輝度が大きくなる場合がある。その場合、輝度が大きくなった一部分１０６の形状は、太陽光の方向や街灯の位置等によって変化する。このような種々変化する雨滴１０２の画像の形状を形状認識処理で対応するためには、処理負荷が大きく、又、認識精度の低下を招く。
【００３９】
一方、図４を参照するに、無限遠に撮像レンズ４１の焦点が合っている場合には、多少のピンボケが発生する。そのため、背景画像１０５の映り込みが撮像画像データに反映されず、雨滴１０２の誤検出が軽減される。又、多少のピンボケが発生することで、太陽光の方向や街灯の位置等によって雨滴画像の形状が変化する度合いが小さくなり、雨滴１０２の画像の形状は常に略円形状となる。これにより、雨滴１０２の形状認識処理の負荷を軽減でき、又、雨滴１０２の認識精度を向上できる。
【００４０】
但し、無限遠に撮像レンズ４１の焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ４３において、テールランプの光を受光する画素が１個程度になる場合がある。この場合、テールランプを認識できず、先行車両の検出ができない虞がある。
【００４１】
このような不具合を回避するため、撮像レンズ４１の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する画素の数を増やすことができる。その結果、テールランプの認識精度が上がるため、先行車両の検出精度を向上できる。
【００４２】
〔光学フィルタ４２の構成〕
図５は、光学フィルタ４２をセンサ基板４４側から視た図である。図６は、画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図である。図７は、第１の実施の形態に係る光学フィルタ４２と画像センサ４３の位置関係の対応を例示する図である。図８は、図５及び図６のＡ−Ａ線に沿う断面図である。
【００４３】
なお、図５〜図７において、便宜上、分光フィルタ層４９ｂ、及び画像センサ４３上の分光フィルタ層４９ｂに対応する領域を梨地模様で描いている。又、図７に示す光学フィルタ４２において、分光フィルタ層４９ｂの外周部分に描いた破線は有効撮像領域を示している。
【００４４】
図５〜図８を参照するに、光学フィルタ４２において、フィルタ基板４６は、撮像レンズ４１を介して光学フィルタ４２に入射する入射光を透過する透明な基板である。フィルタ基板４６の撮像レンズ４１側の面の有効画像領域（画像センサ４３を構成する全画素に対応する領域）の全部には、分光フィルタ層４９ａが形成されている。なお、分光フィルタ層４９ａは、本発明に係る第２の分光フィルタ層の代表的な一例である。
【００４５】
又、フィルタ基板４６の画像センサ４３側の面には、偏光フィルタ層４７が形成されている。偏光フィルタ層４７は形成しなくてもよいが、偏光フィルタ層４７を形成することにより不要光を低減することができるため、雨滴検出及び車両検出の検出精度を向上できる利点がある。
【００４６】
偏光フィルタ層４７を覆うように、更に充填材４８が形成されている。そして、充填材４８の画像センサ４３側の面の有効画像領域の上端側及び下端側には、分光フィルタ層４９ｂが積層形成されている。なお、分光フィルタ層４９ｂは、本発明に係る分光フィルタ層の代表的な一例である。
【００４７】
光学フィルタ４２に入射した光のうち、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂを透過した光は、画像センサ４３の画素４３ａ１〜４３ｂ８及び４３ｇ１〜４３ｈ８に入射する。又、光学フィルタ４２に入射した光のうち、分光フィルタ層４９ａ、及び偏光フィルタ層４７を透過した光（分光フィルタ層４９ｂが形成されていない領域を透過した光）は、画像センサ４３の画素４３ｃ１〜４３ｆ８に入射する。
【００４８】
フィルタ基板４６の材料としては、使用帯域（本実施の形態では可視光域と赤外域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等を用いることができる。本実施の形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を用いると好適である。
【００４９】
偏光フィルタ層４７は、光学フィルタ４２に入射した光のうちのＰ偏光成分のみを透過するように形成されている。偏光フィルタ層４７は、図９に示すような、ワイヤーグリッド構造で形成された偏光子を有し、分光フィルタ層４９ｂ側の面は凹凸面である。ワイヤーグリッド構造は、アルミニウム等の金属で構成された特定方向に延びる金属ワイヤー（導電体線）を特定のピッチで配列した構造である。図９では、溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
【００５０】
ワイヤーグリッド構造のワイヤーピッチを、入射光の波長帯（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることにより、以下の効果を奏する。すなわち、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００５１】
ワイヤーグリッド構造の偏光子は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００５２】
偏光フィルタ層４７をワイヤーグリッド構造で形成することにより、以下の効果を有する。すなわち、ワイヤーグリッド構造は、広く知られた半導体製造プロセスを利用して形成できる。具体的には、フィルタ基板４６上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチング等の手法によってワイヤーグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ４３の撮像画素サイズ相当（数μｍレベル）で金属ワイヤーの長手方向すなわち偏光方向（偏光軸）を調整することが可能となる。
【００５３】
又、ワイヤーグリッド構造は、アルミニウム等の金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内等の高温環境下においても好適に使用できるという利点もある。
【００５４】
偏光フィルタ層４７の凹凸面上に直接分光フィルタ層４９ｂを形成すると、分光フィルタ層４９ｂが偏光フィルタ層４７の凹凸面に沿って形成され、分光フィルタ層４９ｂに層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、偏光フィルタ層４７の積層方向上面側（分光フィルタ層４９ｂ側）を充填材４８で充填して平坦化した後、充填材４８の上に分光フィルタ層４９ｂを形成している。
【００５５】
充填材４８は、偏光フィルタ層４７の金属ワイヤー間の凹部に充填される。充填材４８は、フィルタ基板４６よりも屈折率が低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施の形態における充填材４８は、偏光フィルタ層４７の金属ワイヤー部分の積層方向上面も覆うように形成されている。
【００５６】
充填材４８の材料には、偏光フィルタ層４７の凹凸面を平坦化でき、かつ、偏光フィルタ層４７の機能を妨げない材料を用いる必要があるため、偏光機能を有しない材料を用いることが好ましい。又、充填材４８の材料には、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料を用いることが好ましい。
【００５７】
充填材４８の具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましい。より詳しくは、ポーラスシリカ（ＳｉＯ２）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ２Ｏ３）等を挙げることができる。
【００５８】
又、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。フィルタ基板４６の主成分が水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００５９】
充填材４８の形成方法としては、これに限られるものではないが、例えば、ＳＯＧ（Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）４）をアルコールに溶かした溶剤を、フィルタ基板４６上に形成された偏光フィルタ層４７上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させることで形成できる。
【００６０】
偏光フィルタ層４７はサブ波長サイズのワイヤーグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本実施の形態の光学フィルタ４２は、画像センサ４３に密着配置することが望まれるため、その製造段階において光学フィルタ４２と画像センサ４３とが接触する可能性がある。
【００６１】
本実施の形態では、偏光フィルタ層４７の積層方向上面（画像センサ４３側の面）が充填材４８によって覆われているので、画像センサ４３と接触した際にワイヤーグリッド構造が損傷する事態を抑制できる。又、本実施の形態のように充填材４８を偏光フィルタ層４７のワイヤーグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止できる。
【００６２】
なお、充填材４８の上に積層される分光フィルタ層４９ｂを充填材４８のような保護層で保護してもよいが、本実施の形態では、分光フィルタ層４９ｂについては充填材４８のような保護層を設けていない。これは、発明者らの実験によれば、画像センサ４３に分光フィルタ層４９ｂが接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。
【００６３】
又、偏光フィルタ層４７の金属ワイヤー（凸部）の高さは使用波長の半分以下と低い一方、分光フィルタ層４９ｂは使用波長と同等から数倍程度の高さとなる。充填材４８の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ４２の特性に影響を与えるので、充填材４８を厚くするにも限度がある。そのため、本実施の形態では、分光フィルタ層４９ｂを充填材で覆っていない。
【００６４】
ここで、分光フィルタ層４９ａ及び４９ｂの透過率特性について説明する。図１０は、分光フィルタ層４９ａの透過率特性を例示する図である。図１１は、分光フィルタ層４９ｂの透過率特性を例示する図である。
【００６５】
図１０を参照するに、分光フィルタ層４９ａは、波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光領域の入射光及び波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光を透過させ、波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有する。波長範囲４００ｎｍ〜６７０ｎｍ及び波長範囲９４０〜９７０ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。波長範囲６７０ｎｍ〜９４０ｎｍの透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。
【００６６】
可視光領域の入射光は車両周辺情報を検出するために用い、赤外光領域の入射光は雨滴情報を検出するために用いる。波長範囲６７０ｎｍ〜９４０ｎｍの入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データが全体的に赤くなってしまい、テールランプの赤色を示す部分等を抽出することが困難となる場合があるからである。
【００６７】
そこで、図１０に示すような赤外光領域の大部分の波長範囲（６７０ｎｍ〜９４０ｎｍ）をカットする特性をもつフィルタを形成すれば、外乱光を除去できるため、例えばテールランプの検出精度を向上させることができる。
【００６８】
なお、外乱光を除去するという観点からは、光源３０の波長範囲９４０〜９７０ｎｍも透過しないことが望ましい。しかし、波長範囲９４０〜９７０ｎｍは、可視光帯域に比較して帯域が狭小であること等により、受光量が十分に小さいため、テールランプの検出等への影響は無視できる。
【００６９】
なお、波長範囲９４０〜９７０ｎｍは、本発明に係る第１の波長範囲の代表的な一例である。又、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る第２の波長範囲の代表的な一例である。
【００７０】
図１１を参照するに、分光フィルタ層４９ｂは、波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光を透過させ、その他の波長範囲（〜９４０ｎｍ及び９７０ｎｍ〜）の入射光をカットする透過率特性を有する。波長範囲９４０〜９７０ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。その他の波長範囲（〜９４０ｎｍ及び９７０ｎｍ〜）の透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。
【００７１】
図１０及び図１１の透過率特性より、分光フィルタ層４９ａのみが形成されている領域（例えば、画像センサ４３の中央部１／２に対応する領域）では、分光フィルタ層４９ａの特性により、波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光領域の入射光及び波長範囲９４０〜９７０ｎｍの所謂赤外光領域の入射光が透過する。
【００７２】
又、分光フィルタ層４９ａ及び４９ｂの両方が形成されている領域（例えば、画像センサ４３の上下１／４に対応する領域）では、分光フィルタ層４９ａと分光フィルタ層４９ｂとを組み合わせた特性により、波長範囲９４０〜９７０ｎｍの入射光のみが透過する。
【００７３】
なお、赤外光領域での検出感度を高めるため、波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等にしておくのが望ましい。換言すれば、分光フィルタ層４９ｂは、入射光のうち光源３０の発振波長範囲を含む波長帯域の光を選択的に透過させる特性を有することが望ましい。波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等とすることにより、光源３０から照射された赤外波長光の反射光を、大光量の外乱光と区別し易くできる。
【００７４】
例えば、分光フィルタ層４９ａ及び４９ｂが存在しない場合、フロントガラス１０１で反射した光源３０から照射された赤外波長光の反射光を撮像装置４０で撮像する際、撮像装置４０の画像センサ４３では、光源３０から照射された赤外波長光の反射光の他、例えば太陽光等の大光量の外乱光も受光される。
【００７５】
よって、光源３０からの赤外波長光をこのような大光量の外乱光と区別するためには、光源３０の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源３０を用いることは困難である場合が多い。
【００７６】
そこで、撮像装置４０に入射する光路上に、図１０及び図１１に示す透過率特性を有する分光フィルタ層４９ａ及び４９ｂを設ける。これにより、光源３０から照射された赤外波長光の反射光以外は大幅にカットされるため、光源３０から照射された赤外光の反射光を画像センサ４３で受光できる。この際、波長範囲９４０〜９７０ｎｍの中心値と光源３０の発振波長とを略同等にしておけば、光源３０から照射された赤外光の反射光の受光量が増えるので、光源３０から照射された赤外光の反射光を画像センサ４３で精度よく受光できる。
【００７７】
分光フィルタ層４９ａのみが形成されている領域（例えば、画像センサ４３の中央部１／２に対応する領域）は、対向車両のヘッドランプや先行車両のテールランプ、白線等の検出に用いる車両検出用画像領域となる。又、分光フィルタ層４９ａ及び４９ｂの両方が形成されている領域（例えば、画像センサ４３の上下１／４に対応する領域）は、雨滴の検出に用いる雨滴検出用画像領域（付着物検出用画像領域）となる。
【００７８】
但し、図１０及び図１１に示す透過率特性（透過率のピークが光源３０の発振波長と略一致したバンドパスフィルタを含む特性）に代えて、図１２及び図１３に示す透過率特性を有してもよい。つまり、図１２及び図１３に示すように、光源３０の発振波長よりも短波長側の光をカットする特性にしてもよい。又、図１０と図１３とを組み合わせて用いてもよいし、図１１と図１２とを組み合わせて用いてもよい。
【００７９】
なお、本実施の形態では、偏光フィルタ４７を用いて光学フィルタ４２への入射光のうちのＰ偏光成分のみを透過させ、Ｓ偏光成分をカットしている。これにより、例えば雨滴の有無を検出する際、Ｓ偏光成分が除去されているため、路面に反射した光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。これにより、雨滴の識別率を向上できる。
【００８０】
又、例えば白線や対向車両のヘッドランプ、先行車両のテールランプ等を識別する際、Ｓ偏光成分が除去されているため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。これにより、白線や対向車両のヘッドランプ、先行車両のテールランプの識別率を向上できる。
【００８１】
特に、雨路において、路面を覆った水面からの反射光はＳ偏光成分が多いことが一般に知られている。よって、Ｓ偏光成分が除去された画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率を向上できる。
【００８２】
なお、画像センサ４３の中央部１／２に対応する領域を車両検出用画像領域とし、画像センサ４３の上下１／４に対応する領域を雨滴検出用画像領域（付着物検出用画像領域）としたのは一例であり、これに限定されることはない。
【００８３】
次に、分光フィルタ層４９ｂの構造や作製方法について説明する。分光フィルタ層４９ｂは、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長（例えば赤外光以外の波長帯域）に対して１００％近い反射率を実現することも可能である。
【００８４】
本実施の形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する画像センサ４３を選択している。分光フィルタ層４９ｂは赤外光の一部のみを透過させればよいので、分光フィルタ層４９ｂの多層膜部分の透過波長範囲を例えば９００ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図１３参照）を形成すればよい。
【００８５】
このようなカットフィルタは、光学フィルタ４２の積層方向下側から順に、「基板／（０．１２５Ｌ ０．２５Ｈ ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得られる。ここでいう「基板」は、上述した充填材４８を意味する。又、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ２）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、したがって「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。
【００８６】
同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ２）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、したがって「０．２５Ｈ」の膜は１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。又、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップル等の影響を抑制できる。又、媒質Ａは、空気或いは画像センサ４３との密着接合のための樹脂や接着剤を意図するものである。
【００８７】
又、分光フィルタ層４９ｂにおいて、赤外光波長帯のみを透過する多層膜構造としては、透過波長範囲が９４０〜９７０ｎｍの範囲であるバンドパスフィルタ（図１１参照）であってもよい。このようなバンドパスフィルタであれば、赤外光よりも長波長側の赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｐ（０．１２５Ｌ ０．５Ｈ ０．１２５Ｌ）ｑ（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得られる。なお、高屈折率材料として二酸化チタン（ＴｉＯ２）、低屈折率材料として二酸化珪素（ＳｉＯ２）等を使用すれば、対候性の高い分光フィルタ層４９ｂを実現できる。
【００８８】
分光フィルタ層４９ｂの作製方法の一例について説明すると、まず、フィルタ基板４６及び偏光フィルタ層４７上に形成された充填材４８上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、周知の蒸着等の方法を用いればよい。続いて、非分光領域（例えば、画像センサ４３の中央部１／２に対応する領域）に対応する箇所について多層膜を除去する。
【００８９】
この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材４８の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【００９０】
本実施の形態では、分光フィルタ層４９ｂとして多層膜構造を採用しているので、分光特性の設定自由度が高いとう利点がある。一般に、カラーセンサ等に用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施の形態では、分光フィルタ層４９ｂとして多層膜構造を採用しているので、光源３０の波長と雨滴検出エリアの波長帯域を略一致させることができる。
【００９１】
なお、以上の説明は分光フィルタ層４９ｂを中心に行ったが、分光フィルタ層４９ａも分光フィルタ層４９ｂと同様の多層膜構造により実現できる。
【００９２】
ここで、雨滴検出用画像領域を上下に設けた理由について説明する。図１４は、撮像画像を例示する図である。
【００９３】
対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の画像は、主に撮像画像中央部に存在することが多い。又、撮像画像下部には自車両前方の直近の路面１１７の画像が存在し、撮像画像上部には空１１８の画像が存在することが通常である。つまり、対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像上部及び撮像画像下部の情報はあまり重要ではない。
【００９４】
よって、単一の撮像画像データから、対向車両や先行車両１１５或いは白線１１６の検出と雨滴１０２の検出とを両立して行う場合には、図１４に示すように、撮像画像中央部を車両検出用画像領域１１１とし、撮像画像上部及び撮像画像下部をそれぞれ雨滴検出用画像領域１１２及び１１３とすることが好適である。
【００９５】
従って、図１４の車両検出用画像領域１１１に対応して図８に示すような分光フィルタ層４９ａを設け、図１４の雨滴検出用画像領域１１２及び１１３に対応して図８に示すような分光フィルタ層４９ａ及び４９ｂを設けている。
【００９６】
なお、撮像装置４０の撮像方向を下方へ傾けると、撮像領域内の下部に自車両のボンネット（図１４の雨滴検出用画像領域１１３中の破線で示した部分）が入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプ等が外乱光となり、これが撮像画像データに含まれることになる。
【００９７】
このような場合でも、本実施の形態では、撮像画像下部に対応する箇所に分光フィルタ層４９ａ及び４９ｂを設けているので、ボンネットで反射した太陽光や先行車両１１５のテールランプ等の外乱光が除去される。よって、雨滴１０２の検出精度を向上できる。
【００９８】
なお、先行車両１１５を検出する際には、撮像画像上のテールランプを識別することで先行車両１１５の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、又、街灯等の外乱光も多く存在する。そのため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。
【００９９】
そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。但し、本実施の形態の画像センサ４３を構成する各画素は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ４３で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなる。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。
【０１００】
本実施の形態では、前述のように、分光フィルタ層４９ａが波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有するので、テールランプの識別に用いる撮像画像データ部分から赤外波長帯の大部分が除外され、テールランプの識別精度を向上できる。
【０１０１】
なお、図８では、光学フィルタ４２と画像センサ４３との間に空隙がある構成としているが、光学フィルタ４２を画像センサ４３に密着させる構成とした方が好ましい。光学フィルタ４２の偏光フィルタ層４７と分光フィルタ層４９ｂの各領域の境界と画像センサ４３上の各画素間の境界とを一致させやすくなるからである。つまり、光学フィルタ４２と画像センサ４３を密着接合することにより、雨滴検出エリアと車両周辺情報を検出するエリアの境界が明確になり、雨滴有無の判別精度を上げることができる。
【０１０２】
光学フィルタ４２を画像センサ４３に密着させる場合は、例えば、光学フィルタ４２と画像センサ４３をＵＶ接着剤で接合してもよいし、撮像に用いる有効撮像領域外でスペーサにより支持した状態で有効撮像領域外の四辺領域をＵＶ接着や熱圧着してもよい。
【０１０３】
なお、分光フィルタ層４９ａ及び４９ｂをフィルタ基板４６の両側に形成することにより、光学フィルタ４２の反りを抑制することが可能となる。すなわち、フィルタ基板４６の片側だけに多層膜（分光フィルタ層）を形成すると応力がかかり反りが生じる。しかしながら、図８のようにフィルタ基板４６の両側に多層膜（分光フィルタ層）を形成した場合は、応力の効果が相殺されるため、反りを抑制できる。
【０１０４】
又、分光フィルタ層４９ｂを上下の何れか一方にのみに設けた場合、光学フィルタ４２と画像センサ４３を平行に接着することは難しくＺ軸に対して傾いてしまう。傾いて接着してしまうと撮像画像上部と撮像画像下部とで光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤り等の認識精度の劣化原因となる。図８に示したように、分光フィルタ層４９ｂを上下に設けることにより、このような問題を解消できる。
【０１０５】
但し、分光フィルタ層４９ａ及び４９ｂをフィルタ基板４６の一方の側に形成した場合や、分光フィルタ層４９ｂを上下の何れか一方にのみに設けた場合も、一定の効果を奏する。
【０１０６】
なお、本実施の形態では、撮像レンズ４１の特性により、撮像領域内の光景と画像センサ４３上の像とでは天地が逆になる。
【０１０７】
ここで、雨滴検出及び車両検出について、更に詳しく説明する。図１５は、雨滴検出及び車両検出に関わる光線を例示する図である。
【０１０８】
光源３０は、雨滴１０２と空気との境界面の何れかの位置での反射光が撮像装置４０で撮像されるように、フロントガラス１０１への入射角度が設定される。雨滴１０２と空気との境界面からの反射光が最も強くなるレイアウトは、撮像レンズ４１の光軸と交差するフロントガラス１０１の法線に対して光源３０が撮像レンズ４１の光軸と略反対側の位置に設置された場合、及び光源３０が撮像レンズ４１の光軸とほぼ同じ光軸となるように設置された場合である。
【０１０９】
又、雨滴１０２と空気との境界面からの反射光が最も弱くなるのは、撮像レンズ４１の光軸と交差するフロントガラス１０１の法線と光源３０の光軸とがほぼ一致した場合である。ここでは、一例として、光源３０は、フロントガラス１０１の外壁面での正反射光が撮像レンズ４１の光軸と略一致するように配置されているとする。
【０１１０】
光線Ａは、光源３０から照射してフロントガラス１０１を通過する光線である。フロントガラス１０１の外壁面に雨滴１０２が付着していない場合、光源３０からフロントガラス１０１に向けて照射された光は、光線Ａのように、フロントガラス１０１を透過してそのまま自車両の外部に漏れ出る。そのため、光源３０としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図１５に示すように、光源３０からフロントガラス１０１に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。
【０１１１】
光線Ｂは、光源３０からの照射光がフロントガラス１０１の内壁面で正反射して撮像装置４０へ入射する光線である。光源３０からフロントガラス１０１へ向かう光の一部はフロントガラス１０１の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図１５の紙面に対して垂直な方向）に振動するＳ偏光成分が支配的であることが知られている。
【０１１２】
光源３０から照射されてフロントガラス１０１の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０１の外壁面に付着する雨滴１０２の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施の形態では、光線Ｂ（Ｓ偏光成分）が偏光フィルタ層４７によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。
【０１１３】
光線Ｃは、光源３０からの照射光がフロントガラス１０１の内壁面を透過し、その後、フロントガラス１０１の外壁面に付着する雨滴１０２と空気との界面で反射して撮像装置４０へ入射する光線である。光源３０からフロントガラス１０１へ向かう光の一部はフロントガラス１０１の内壁面を透過するが、その透過光はＳ偏光成分よりもＰ偏光成分の方が多い。
【０１１４】
そして、フロントガラス１０１の外壁面に雨滴１０２が付着している場合、フロントガラス１０１の内壁面を透過した光は、上記光線Ａのように外部へ漏れ出ずに、雨滴１０２と空気との界面で反射して撮像装置４０側に向けて再度フロントガラス１０１内を透過し、撮像装置４０に入射する。
【０１１５】
このとき、分光フィルタ層４９ａは、光源３０の発振波長（赤外光）を透過させるように構成されているので、光線Ｃは分光フィルタ層４９ａを透過する。又、偏光フィルタ層４７は、Ｐ偏光成分を透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、Ｐ偏光成分を主成分とする光線Ｃは偏光フィルタ層４７も透過する。又、分光フィルタ層４９ｂは、光源３０の発振波長（赤外光）を透過させるように構成されているので、光線Ｃは分光フィルタ層４９ｂも透過する。よって、光線Ｃは、画像センサ４３の雨滴検出用画像領域に到達し、その受光量によって雨滴１０２の検出を行うことができる。
【０１１６】
光線Ｄは、フロントガラス１０１の外部からフロントガラス１０１を透過して撮像装置４０の画像センサ４３の雨滴検出用画像領域に向かって入射する光線である。光線Ｄは雨滴検出時の外乱光となり得るが、本実施の形態では、分光フィルタ層４９ａ及び４９ｂによって赤外光の一部を除く大部分がカットされ、光線Ｄの大部分は画像センサ４３の雨滴検出用画像領域には到達しない。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。
【０１１７】
光線Ｅは、フロントガラス１０１の外部からフロントガラス１０１を透過して撮像装置４０の画像センサ４３の車両検出用画像領域に向かってに入射する光線である。光線ＥのＰ偏光成分は、分光フィルタ層４９ａ及び４９ｂの透過率特性により、可視光と赤外光の一部のみが分光フィルタ層４９ａ及び４９ｂを透過して画像センサ４３の車両検出用画像領域に到達し撮像される。
【０１１８】
この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出等に利用される。なお、光線ＥのＳ偏光成分は偏光フィルタ層４７により除去されるため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光（映りこみ光）等のようにＳ偏光成分の強い不要光による外乱要因を抑制できる。
【０１１９】
次に、画像処理装置１０で撮像画像を取得する際の露光量調整について説明する。一例として、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの領域（画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２からなる領域）によって撮像画像データの１ユニットを構成する場合を考える。画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２には、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂを透過した光が入射する。従って、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２では光学フィルタ４２への入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が生成される。このようにして得られる赤外光のＰ偏光成分の画像を用いて、例えば、雨滴の有無を検出できる。
【０１２０】
なお、光源３０は、連続発光（ＣＷ発光と称される場合もある）させてもよいし、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。又、複数の光源を設置した場合は、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。
【０１２１】
次に、画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２からなる領域によって撮像画像データの１ユニットを構成する。画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２には、分光フィルタ層４９ａ及び偏光フィルタ層４７を透過した光が入射する。従って、画素４３ｃ１、４３ｃ２、４３ｄ１、４３ｄ２では光学フィルタ４２への入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が生成される。このようにして得られる主に可視光のＰ偏光成分の画像を用いて、例えば、車両周辺情報を検出できる。
【０１２２】
なお、車両検出用画像領域を撮像するときは、光源３０は消灯しても構わないし、光源３０は常時点灯させていても構わない。
【０１２３】
次に、画素４３ｇ１、４３ｇ２、４３ｈ１、４３ｈ２からなる領域によって撮像画像データの１ユニットを構成する。画素４３ｇ１、４３ｇ２、４３ｈ１、４３ｈ２からなる領域では、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２からなる領域と同様に、赤外光のＰ偏光成分による画像が生成され、例えば、雨滴の有無を検出できる。なお、画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２の場合と同様に、光源３０を発光させる。
【０１２４】
同様にして、他の隣接する縦２つ横２つの合計４つの領域を１ユニットとして順次画像を生成する。これにより、画像センサ４３全体の画像が生成される。但し、必ずしも、雨滴検出用画像領域と車両検出用画像領域の画像を交互に生成する必要はなく、同一領域の画像を連続して生成してもよい。
【０１２５】
なお、ここでは、４画素を１ユニットとする例を示したが、これに限定されることはない。例えば、画像センサ４３の上下に配置された雨滴検出用画像領域を撮像するときは、光源３０からの反射光の画像センサ４３上のスポットサイズ相当の画素領域を１ユニットとすることができるし、画像センサ４３の中央に配置された車両検出用画像領域を撮像するときは、画像センサとしてモノクロセンサを用いた場合は１画素を１ユニットとすることができる。
【０１２６】
ところで、分光フィルタ層４９ａ、偏光フィルタ層４７、及び分光フィルタ層４９ｂが形成されている雨滴検出用画像領域（付着物検出用画像領域）と、分光フィルタ層４９ａ及び偏光フィルタ層４７が形成され分光フィルタ層４９ｂが形成されていない車両検出用画像領域とでは、取得光量が大きく異なる。雨滴検出用画像領域には主に光源３０が照射する赤外光の反射光のみが入射するが、車両検出用画像領域には主に可視光が入射するからである。
【０１２７】
そこで、雨滴検出用画像領域を撮像する場合と車両検出用画像領域を撮像する場合で露光量を変えることが好ましい。これにより、雨滴検出用画像領域及び車両検出用画像領域それぞれについて、最適な露光量で画像を撮像できる。例えば、遠方の画像を撮像する場合は、車両検出用画像領域の部分を検出しながら車両検出用画像領域の画像情報に基づいて自動露光調整を行い、雨滴の画像を撮像する場合は、雨滴検出用画像領域の部分を検出しながら雨滴検出用画像領域の画像情報に基づいて自動露光調整を行えばよい。
【０１２８】
露光量を変えるには、例えば、雨滴検出用画像領域を撮像する際と、車両検出用画像領域を撮像する際とで露光時間を変えてやればよい。例えば、画像解析ユニット５０が、画像センサ４３が入射光を電気信号に変換する時間を制御することにより、露光時間を変えることができる。又、後述の第１の実施の形態の変形例３のように、分光フィルタ層４９ｂが形成されていない領域に画像センサ４３の各画素に対応した開口制限部を設けることにより露光量を変えることもできる。
【０１２９】
車両検出用画像領域は、周辺の光量変化が大きい。撮像装置が撮像する車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお、本実施の形態では、被写体は路面周辺にあるため、路面領域の画像情報に基づいて露光制御を行うのが望ましい。
【０１３０】
一方、雨滴検出用画像領域については、光源３０からの照射光に対する付着物からの反射光のみを取り込むように設定されているため、周辺環境による光量の変化は小さい。そこで、雨滴検出用画像領域については、固定露光時間で撮像する（露光量を固定として撮像する）ことも可能である。
【０１３１】
図１６は、撮像画像を例示する図である。図１６（ａ）はフロントガラス１０１の外壁面に雨滴が付着しているときの撮像画像の例であり、図１６（ｂ）はフロントガラス１０１の外壁面に雨滴が付着していないときの撮像画像の例である。なお、本実施の形態では、撮像画像上部及び撮像画像下部に雨滴検出用画像領域を設けているが、図１６は画像上部の雨滴検出用画像領域を除いた画像となっている。
【０１３２】
図１６（ａ）及び図１６（ｂ）の撮像画像は、図中「detected area」と記載された撮像画像下部が雨滴検出用画像領域１１３であり、残りが車両検出用画像領域１１１である。雨滴検出用画像領域１１３には、雨滴が付着しているときは図１６（ａ）に示すように光源３０からの光が映し出され、雨滴が付着していないときは図１６（ｂ）に示すように光源３０からの光が映し出されない。
【０１３３】
又、「Rain detected」との表示は、雨滴が認識されている状態を示しており、「Rain not detected」との表示は、雨滴が認識されていない状態を示している。このような雨滴検出用画像領域１１３における雨滴画像の認識処理は、光源３０からの照射光に対する付着物からの反射光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置４０が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。例えば、車両検出用画像領域１１１の露光調整情報等をもとに最適値を算出して、閾値を変更してもよい。
【０１３４】
［第１の実施の形態の変形例１］
第１の実施の形態の変形例１では、画像センサ４３側の分光フィルタ層の領域分割方法を変更した例を示す。なお、第１の実施の形態の変形例１において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１３５】
図１７は、第１の実施の形態の変形例１に係る光学フィルタ４２Ａをセンサ基板４４側から視た図である。図１８は、第１の実施の形態の変形例１に係る光学フィルタ４２Ａと画像センサ４３の位置関係の対応を例示する図である。図１９は、図１７のＢ−Ｂ線に沿う断面図である。図２０は、図１７のＣ−Ｃ線に沿う断面図である。
【０１３６】
画像センサ４３の光学フィルタ４２Ａと対向する面をセンサ基板４４側から透視した図は図６と同様であるため、図示は省略する。なお、図１７及び図１８において、便宜上、分光フィルタ層４９ｃ及び画像センサ４３上の分光フィルタ層４９ｃに対応する領域を梨地模様で描いている。又、図１８に示す光学フィルタ４２Ａにおいて、分光フィルタ層４９ｃの外周部分に描いた破線は有効撮像領域を示している。
【０１３７】
図１７〜図２０を参照するに、第１の実施の形態の変形例１に係る光学フィルタ４２Ａは、分光フィルタ層４９ｃが画像センサ４３の各画素に対応した市松状のパターンに形成されている点が、第１の実施の形態と相違する。
【０１３８】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ２及び４３ｂ１で光学フィルタ４２Ａへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１３９】
又、光源３０を消灯したタイミングで、画素４３ａ１及び４３ｂ２で光学フィルタ４２Ａへの入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が得られる。更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１４０】
このようにして得られる赤外光のＰ偏光成分の画像や主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。
【０１４１】
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが（隣接する画素領域の情報が不足するが）、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度で赤外光のＰ偏光成分の画像を得ようとする場合には、以下のようにすればよい。
【０１４２】
すなわち、画素４３ａ２及び４３ｂ１については赤外光のＰ偏光成分の情報をそのまま使用し、画素４３ｂ２については、例えばその周囲を取り囲む画素４３ａ２、４３ｂ１、４３ｂ３、及び４３ｃ２の平均値を赤外光のＰ偏光成分の情報として使用すればよい。より高い解像度で主に可視光のＰ偏光成分の画像を得ようとする場合も同様である。
【０１４３】
［第１の実施の形態の変形例２］
第１の実施の形態の変形例２では、画像センサ４３側の分光フィルタ層の領域分割方法を変更した他の例を示す。なお、第１の実施の形態の変形例２において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１４４】
図２１は、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂをセンサ基板４４側から視た図である。図２２は、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂと画像センサ４３の位置関係の対応を例示する図である。図２３は、図２１のＤ−Ｄ線に沿う断面図である。図２４は、図２１のＥ−Ｅ線に沿う断面図である。
【０１４５】
画像センサ４３の光学フィルタ４２と対向する面をセンサ基板４４側から透視した図は図６と同様であるため、図示は省略する。なお、図２１及び図２２において、便宜上、分光フィルタ層４９ｄ及び画像センサ４３上の分光フィルタ層４９ｄに対応する領域を梨地模様で描いている。又、図２２に示す光学フィルタ４２Ｂにおいて、分光フィルタ層４９ｄの外周部分に描いた破線は有効撮像領域を示している。
【０１４６】
図２１〜図２４を参照するに、第１の実施の形態の変形例２に係る光学フィルタ４２Ｂは、分光フィルタ層４９ｄが画像センサ４３の各画素に対応したストライプ状のパターンに形成されている点が、第１の実施の形態と相違する。
【０１４７】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ１及び４３ｂ１で光学フィルタ４２Ｂへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１４８】
又、光源３０を消灯したタイミングで、画素４３ａ２及び４３ｂ２で光学フィルタ４２Ｂへの入射光のうちの主に可視光のＰ偏光成分が受光され、主に可視光のＰ偏光成分による画像が得られる。更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１４９】
このようにして得られる赤外光のＰ偏光成分の画像や主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第１の実施の形態の変形例１と同様に、画像補間技術を用いてもよい。
【０１５０】
第１の実施の形態の変形例２に特有の効果は以下の通りである。すなわち、第１の実施の形態の変形例２では分光フィルタ層４９ｄをストライプ状のパターンに形成することにより、第１の実施の形態の変形例１の市松状のパターンに比べ、画像センサ４３の各画素と光学フィルタ４２Ｂの分光フィルタ層４９ｄ形成部分との位置ズレ精度を緩和できる。
【０１５１】
すなわち、第１の実施の形態の変形例１のような市松状のパターンの場合、画像センサ４３の各画素と光学フィルタ４２Ａの分光フィルタ層４９ｃ形成部分とを一致させるためには、Ｙ方向及びＺ方向それぞれについて位置調整する必要がある。これに対して、第１の実施の形態の変形例２のようなストライプ状のパターンでは、画像センサ４３の各画素と光学フィルタ４２Ｂの分光フィルタ層４９ｄ形成部分とを一致させるためには、Ｙ方向のみ位置調整すればよい。これにより、光学フィルタ４２Ｂと画像センサ４３とを接着する工程において、組立時間の短縮や組付装置の簡素化が可能となる。
【０１５２】
なお、ストライプ状のパターンのストライプ方向（図２１のＺ方向）は、雨滴１０２を照射するための光源３０の照射方向に合わせて設定することが望ましい。より具体的には、ストライプ状のパターンのストライプ方向（図２１のＺ方向）は、光源３０のフロントガラス１０１へ向かう照射光の光軸と撮像レンズ４１の光軸とで形成される面に対して平行であることが望ましい。
【０１５３】
これは、フロントガラス１０１に付着した雨滴１０２を撮像すると、縦方向（Ｚ方向）が圧縮された画像が得られるためである。すなわち、図２１のように、縦方向（Ｚ方向）にストライプ方向を有することにより、縦方向（Ｚ方向）の赤外光情報を取り出す解像度が上がるため、縦方向（Ｚ方向）が圧縮された画像からも精度よく雨滴を検出できる。
【０１５４】
［第１の実施の形態の変形例３］
第１の実施の形態の変形例３では、分光フィルタ層の形成されていない領域に開口制限部を設けた例を示す。なお、第１の実施の形態の変形例３において、既に説明した実施の形態と同一構成部品についての説明は省略する。
【０１５５】
図２５は、第１の実施の形態の変形例３に係る光学フィルタ４２Ｃをセンサ基板４３側から視た図である。光学フィルタ４２Ｃと画像センサ４３の位置関係や断面図は第１の実施の形態の変形例１と同様であるため、図示は省略する。なお、図２５において、便宜上、分光フィルタ層４９ｂを梨地模様で描き、開口制限部４９ｙを灰色で描いている。
【０１５６】
図２５を参照するに、第１の実施の形態の変形例３に係る光学フィルタ４２Ｃは、分光フィルタ層４９ｂが形成されていない領域に画像センサ４３の各画素に対応した開口部４９ｘ及び開口制限部４９ｙを設けた点が、第１の実施の形態の変形例１と相違する。
【０１５７】
例えば、図６に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの画素４３ａ１、４３ａ２、４３ｂ１、４３ｂ２によって撮像画像データの１ユニットを構成することができる。一点鎖線で囲った１ユニットにおいて、光源３０を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素４３ａ２及び４３ｂ１で光学フィルタ４２Ｃへの入射光のうちの赤外光のＰ偏光成分が受光され、赤外光のＰ偏光成分による画像が得られる。
【０１５８】
又、光源３０を消灯したタイミングで、画素４３ａ１及び４３ｂ２で光学フィルタ４２Ｃへの入射光のうちの開口制限された主に可視光のＰ偏光成分が受光され、開口制限された主に可視光のＰ偏光成分による画像が得られる。但し、画素４３ａ１及び４３ｂ２では、開口制限された主に可視光のＰ偏光成分が受光されるため、主に可視光のＰ偏光成分による画像は、第１の実施の形態の変形例１よりも少ない受光量によって生成される。
【０１５９】
更に、一点鎖線で囲った１ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ４３の全画素に対応した画像が得られる。
【０１６０】
このようにして得られる赤外光のＰ偏光成分の画像や開口制限された主に可視光のＰ偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第１の実施の形態の変形例１と同様に、画像補間技術を用いてもよい。
【０１６１】
図２６に、開口制限部の一例を示す。図２６では、開口部４９ｘは円形状のワイヤーグリッド構造からなり、開口部４９ｘの周辺部にはアルミニウムのベタ膜からなる開口制限部４９ｙが形成されている。これにより、分光フィルタ層４９ｂが形成されていない領域の受光量を制限できる。
【０１６２】
図２６に示す構成によれば、入射光はアルミニウムのベタ膜からなる開口制限部４９ｙで遮光されるので、ワイヤーグリッド構造からなる開口部４９ｘの広狭（開口率）によって、分光フィルタ層４９ｂが形成されていない領域を透過する光の受光量を制限できる。
【０１６３】
なお、ワイヤーグリッド構造からなる開口部４９ｘの形状は、図２６に示した円形状に限らず、例えば、図２７に示すような略四角形状であってもよい。図２７に示すように角部を有する形状とする場合、その角部にＲを持たせた方がエッチング加工等で形状寸法を出しやすい点で好適である。
【０１６４】
開口部４９ｘ及び開口制限部４９ｙは、例えば、偏光フィルタ層４７と同時に作製できる。具体的には、フィルタ基板４６上にアルミニウム膜を均一に形成後、エッチング加工等により分光フィルタ層４９ｂを形成する領域及び開口部４９ｘを形成する領域のアルミニウム膜を除去し、アルミニウム膜を除去した部分にワイヤーグリッド構造を形成すればよい。
【０１６５】
このように、ワイヤーグリッド構造の周辺部にアルミニウムの遮光領域を設けて開口制限を行う場合には、ワイヤーグリッド構造の形成時にその周辺部のアルミニウム膜を残すように加工することで開口制限することができる。このワイヤーグリッド構造が開口部４９ｘとなると共に偏光フィルタ層４７ともなるため、偏光フィルタ層４７とは別個に開口制限用の加工を行う場合よりも、製造工程を簡略化できる。
【０１６６】
なお、偏光フィルタ層４７とは別の層に、図２８に示すような開口制限部４９ｙを設けてもよい。この場合、開口部４９ｘ内部にはワイヤーグリッド構造が形成されない。
【０１６７】
また、開口制限部４９ｙは、上述したようなアルミニウム膜等の反射膜に限定されるものではなく、例えば光を吸収する膜で形成してもよい。例えば、図２９に示すように、ブラックレジストのベタ膜によって開口制限部４９ｙを形成してもよい。この場合も、開口部４９ｘは、図２９に示した円形状に限らず、例えば、図３０に示すような略四角形状であってもよい。
【０１６８】
又、分光フィルタ層４９ｂが形成されていない領域の画像センサ４３の各画素に対応した領域毎に、複数の開口部４９ｘを設けてもよい。分光フィルタ層４９ｂが形成されていない領域の画像センサ４３の各画素に対応した領域毎に、複数の開口制限部４９ｙを設けてもよい。又、必ずしも開口部４９ｘの周囲に開口制限部４９ｙを設けなくてもよく、開口部４９ｘの中に開口制限部４９ｙを設けてもよい。例えば、図３１に示すように、ワイヤーグリッド構造からなる開口部４９ｘの中にアルミニウムのベタ膜からなる開口制限部４９ｙを離散的に配置してもよい。
【０１６９】
第１の実施の形態の変形例３に特有の効果は以下の通りである。すなわち、例えば、主に可視光のＰ偏光成分の受光量を赤外光のＰ偏光成分の受光量と同等となるように開口制限部４９ｙを作製すれば、煩雑な露光制御を行うことなく一度の露光で雨滴有無を検出する赤外光と車両周辺情報を検出する可視光の情報を得ることができる。
【０１７０】
〈応用例〉
ここでは応用例として、本実施の形態に係る画像処理装置を用いて車載機器制御システムを構成する例について説明する。
【０１７１】
図３２は、本実施の形態に係る画像処理装置を備えた車載機器制御システムの概略構成を例示する模式図である。図３２を参照するに、車載機器制御システム３００は、本実施の形態に係る画像処理装置１０と、ヘッドランプ制御ユニット３１０と、ワイパー制御ユニット３２０と、車両走行制御ユニット３３０、ヘッドランプ３５０と、ワイパー３６０とを有する。なお、図３２において、４００は自動車等の自車両を示している。
【０１７２】
車載機器制御システム３００は、自車両４００に搭載された画像処理装置１０の撮像装置４０で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行う機能を有する。
【０１７３】
撮像装置４０で撮像された撮像画像データは、画像解析ユニット５０に入力される。画像解析ユニット５０は、前述のように、撮像装置４０から送信される撮像画像データを解析することにより、例えば、自車両４００の前方に存在する他車両の位置や方角、距離等を算出する。
【０１７４】
又、画像解析ユニット５０は、前述のように、他車両のテールランプを識別することで自車両４００と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両４００とは反対方向へ進行する対向車両を検出したりする。又、画像解析ユニット５０は、前述のように、フロントガラス１０１に付着する雨滴１０２や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。
【０１７５】
画像解析ユニット５０の解析結果は、ヘッドランプ制御ユニット３１０に送られる。ヘッドランプ制御ユニット３１０は、例えば、画像解析ユニット５０が算出した距離データから、自車両４００の車載機器であるヘッドランプ３５０を制御する制御信号を生成する。
【０１７６】
具体的には、例えば、先行車両や対向車両の運転者の目に自車両４００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両４００の運転者の視界確保を実現できるように、ヘッドランプ３５０のハイビーム及びロービームの切り替えを制御したり、ヘッドランプ３５０の部分的な遮光制御を行ったりする。
【０１７７】
画像解析ユニット５０の解析結果は、ワイパー制御ユニット３２０にも送られる。ワイパー制御ユニット３２０は、ワイパー３６０を制御して、自車両４００のフロントガラス１０１に付着した雨滴１０２や異物等の付着物を除去する。ワイパー制御ユニット３２０は、画像解析ユニット５０が検出した異物検出結果を受けて、ワイパー３６０を制御する制御信号を生成する。ワイパー制御ユニット３２０により生成された制御信号がワイパー３６０に送られると、自車両４００の運転者の視界を確保すべく、ワイパー３６０を稼動させる。
【０１７８】
又、画像解析ユニット５０の解析結果は、車両走行制御ユニット３３０にも送られる。車両走行制御ユニット３３０は、例えば、画像解析ユニット５０が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両４００が外れている場合等に、自車両４００の運転者へ警告を報知する。又、車両走行制御ユニット３３０は、例えば、自車両４００のハンドルやブレーキを制御する等の走行支援制御を行ったりする。
【０１７９】
このように、本実施の形態に係る画像処理装置１０を用いて車載機器制御システム３００を構成することができる。但し、本実施の形態に係る画像処理装置１０は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステム等にも適用できる。
【０１８０】
以上、好ましい実施の形態及びその変形例について詳説したが、上述した実施の形態及びその変形例に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態及びその変形例に種々の変形及び置換を加えることができる。
【０１８１】
例えば、上記実施の形態及びその変形例では、画像センサ４３がモノクロ画像用の撮像素子であることを前提として説明した。しかし、画像センサ４３は、カラー用撮像素子であってもよい。画像センサ４３がカラー用撮像素子である場合、カラー用撮像素子の各画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層４７と分光フィルタ層４９ａ及び４９ｂの各領域の光透過特性を調整すればよい。
【０１８２】
又、上記実施の形態及びその変形例では、フィルタ基板４６の撮像レンズ４１側の面に分光フィルタ層４９ａを形成し、充填材４８の画像センサ４３側の面に分光フィルタ層４９ｂを形成する例を示した。しかし、フィルタ基板４６の撮像レンズ４１側の面に分光フィルタ層４９ｂを形成し、充填材４８の画像センサ４３側の面に分光フィルタ層４９ａを形成してもよい。
【０１８３】
但し、この場合も前者と同様の効果を奏するが、分光フィルタ層４９ａと分光フィルタ層４９ｂの境界部分が前者よりもボケて、雨滴検出用画像領域と車両検出用画像領域との境界が不明瞭となる虞がある。よって、雨滴検出用画像領域と車両検出用画像領域との境界をより明瞭にするためには、前者の構造の方が好ましい。
【符号の説明】
【０１８４】
１０ 画像処理装置
２０ 撮像ユニット
３０ 光源
４０ 撮像装置
４１ 撮像レンズ
４２、４２Ａ、４２Ｂ、４２Ｃ 光学フィルタ
４３ 画像センサ
４４ センサ基板
４５ 信号処理部
４６ フィルタ基板
４７ 偏光フィルタ層
４８ 充填材
４９ａ、４９ｂ、４９ｃ、４９ｄ 分光フィルタ層
４９ｘ 開口部
４９ｙ 開口制限部
５０ 画像解析ユニット
１０１ フロントガラス
１０２ 雨滴
１０３ カバー
１０５ 背景画像
１０６ 雨滴の一部分
１１１ 車両検出用画像領域
１１２、１１３ 雨滴検出用画像領域
１１５ 先行車両
１１６ 白線
１１７ 路面
１１８ 空
３００ 車載機器制御システム
３１０ ヘッドランプ制御ユニット
３２０ ワイパー制御ユニット
３３０ 車両走行制御ユニット
３５０ ヘッドランプ
３６０ ワイパー
４００ 自車両
【先行技術文献】
【特許文献】
【０１８５】
【特許文献１】特開２００５−２２５２５０号公報
【特許請求の範囲】
【請求項１】
透明部材の一方の面側から前記透明部材に向けて照射光を照射する光源と、
焦点が前記透明部材の位置よりも遠方に設定された撮像レンズ、前記撮像レンズの後段に配置された光学フィルタ、及び前記光学フィルタを透過した光を受光する２次元配置された複数の画素で構成された画像センサを備え、前記透明部材に対して前記光源と同じ側に配置された撮像装置と、を有し、
前記光学フィルタは、前記撮像レンズを介して入射する入射光を透過する基板と、
前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を選択的に透過させる分光フィルタ層と、を備え、
前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層が形成されていない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像する画像処理装置。
【請求項２】
前記第１の露光量は固定とし、
前記第２の露光量は、前記分光フィルタ層が形成されていない領域の画像情報に基づいて調整する請求項１記載の画像処理装置。
【請求項３】
前記分光フィルタ層は、前記基板上の有効画像領域の上端側及び下端側の２領域に形成されている請求項１又は２記載の画像処理装置。
【請求項４】
前記分光フィルタ層は、前記基板上に市松状のパターンで形成されている請求項１又は２記載の画像処理装置。
【請求項５】
前記分光フィルタ層は、前記基板上にストライプ状のパターンで形成されている請求項１又は２記載の画像処理装置。
【請求項６】
前記ストライプ状のパターンのストライプ方向は、前記光源の前記照射光の光軸と前記撮像レンズの光軸とにより形成される面に対して平行である請求項５記載の画像処理装置。
【請求項７】
前記基板上の前記分光フィルタ層が形成されていない領域に、透過光量を制限する開口制限部が形成されている請求項１乃至６の何れか一項記載の画像処理装置。
【請求項８】
前記分光フィルタ層は、前記基板の前記画像センサ側の面の前記有効撮像領域の一部に形成され、
前記基板の前記撮像レンズ側の面の前記有効撮像領域の全部には、第２の分光フィルタ層が形成され、
前記第２の分光フィルタ層は、前記入射光のうち前記第１の波長帯域の光と、前記第１の波長帯域とは不連続であり前記第１の波長帯域よりも短波長側の第２の波長帯域の光と、を透過させる請求項１乃至７の何れか一項記載の画像処理装置。
【請求項１】
透明部材の一方の面側から前記透明部材に向けて照射光を照射する光源と、
焦点が前記透明部材の位置よりも遠方に設定された撮像レンズ、前記撮像レンズの後段に配置された光学フィルタ、及び前記光学フィルタを透過した光を受光する２次元配置された複数の画素で構成された画像センサを備え、前記透明部材に対して前記光源と同じ側に配置された撮像装置と、を有し、
前記光学フィルタは、前記撮像レンズを介して入射する入射光を透過する基板と、
前記基板上の有効撮像領域の一部に形成され、前記入射光のうち前記光源の発振波長範囲を含む第１の波長帯域の光を選択的に透過させる分光フィルタ層と、を備え、
前記分光フィルタ層が形成された領域に対応する画素により前記透明部材の他方の面に付着した付着物の画像を第１の露光量で撮像し、前記分光フィルタ層が形成されていない領域の画素により前記透明部材の位置より遠方の画像を第２の露光量で撮像する画像処理装置。
【請求項２】
前記第１の露光量は固定とし、
前記第２の露光量は、前記分光フィルタ層が形成されていない領域の画像情報に基づいて調整する請求項１記載の画像処理装置。
【請求項３】
前記分光フィルタ層は、前記基板上の有効画像領域の上端側及び下端側の２領域に形成されている請求項１又は２記載の画像処理装置。
【請求項４】
前記分光フィルタ層は、前記基板上に市松状のパターンで形成されている請求項１又は２記載の画像処理装置。
【請求項５】
前記分光フィルタ層は、前記基板上にストライプ状のパターンで形成されている請求項１又は２記載の画像処理装置。
【請求項６】
前記ストライプ状のパターンのストライプ方向は、前記光源の前記照射光の光軸と前記撮像レンズの光軸とにより形成される面に対して平行である請求項５記載の画像処理装置。
【請求項７】
前記基板上の前記分光フィルタ層が形成されていない領域に、透過光量を制限する開口制限部が形成されている請求項１乃至６の何れか一項記載の画像処理装置。
【請求項８】
前記分光フィルタ層は、前記基板の前記画像センサ側の面の前記有効撮像領域の一部に形成され、
前記基板の前記撮像レンズ側の面の前記有効撮像領域の全部には、第２の分光フィルタ層が形成され、
前記第２の分光フィルタ層は、前記入射光のうち前記第１の波長帯域の光と、前記第１の波長帯域とは不連続であり前記第１の波長帯域よりも短波長側の第２の波長帯域の光と、を透過させる請求項１乃至７の何れか一項記載の画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３】
【図４】
【図９】
【図１６】
【図２】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３】
【図４】
【図９】
【図１６】
【公開番号】特開２０１３−９８８１７（Ｐ２０１３−９８８１７Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０８４５（Ｐ２０１１−２４０８４５）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]