撮像方法および撮像ユニット
【課題】光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出する。
【解決手段】フロントガラス１０５に向けて光を照射する光源２０２と、フロントガラスに対して光源と同じ側に、撮像レンズと、複数の画素アレイを有する撮像素子２０６と、撮像レンズと撮像素子の間に光学フィルタ２０５とを備え、フロントガラスの光源とは反対側の面に付着した雨滴２０３によって反射された光源からの光を撮像する撮像装置２０１を備えた撮像ユニットにおいて、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、複数の領域画像に含まれるスポット画素に基づいて、雨滴付着状態を検出する。
【解決手段】フロントガラス１０５に向けて光を照射する光源２０２と、フロントガラスに対して光源と同じ側に、撮像レンズと、複数の画素アレイを有する撮像素子２０６と、撮像レンズと撮像素子の間に光学フィルタ２０５とを備え、フロントガラスの光源とは反対側の面に付着した雨滴２０３によって反射された光源からの光を撮像する撮像装置２０１を備えた撮像ユニットにおいて、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、複数の領域画像に含まれるスポット画素に基づいて、雨滴付着状態を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を検出するのに適した撮像方法および撮像ユニットに関する。
【背景技術】
【０００２】
従来、車両のフロントガラスの表面に付着する異物を検出するための画像処理システムとしては、特許文献１乃至４に記載されたものが知られている。
特許文献１には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。発光素子からの光を平行光にしてプリズム本体に入射する。プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、レンズ部からの光を集光して受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。
【０００３】
特許文献２には、Ｐ偏光画像とＳ偏光画像を撮像できる撮像装置を用いて雨滴の有無を判別する雨滴検出装置が開示されている。光源から車両のフロントスクリーンに入射角がブリュースター角になる平行光束を照射し、撮像装置でフロントスクリーンに照射した光束の反射光を受光してＳ偏光画像とＰ偏光画像を撮像し、雨滴検出処理部は撮像したＳ偏光画像とＰ偏光画像の反射率の差からフロントスクリーンに雨滴が付着しているか否を判別し、フロントスクリーンに雨滴が付着している場合の雨滴量を単純な構成で検出する。
特許文献３には、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
特許文献４には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像する画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、特許文献１にあるような、発光素子と受光素子からなる雨滴センサを用いれば、フロントガラス面に付着した雨滴を検出できることが知られている。
しかしながら、フロントガラス面に密着配置する必要があり、検出領域が限定されることが課題であった。検出領域を大きくしようとすると、雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。
【０００５】
一方、特許文献２にあるような、撮像レンズと撮像素子からなる撮像装置を用いる方法が開示されている。特許文献２においては、検出領域は特許文献１のような専用センサに比べて、レンズ位置とレンズ画角の調整により検出領域を大きくとれるが、特許文献２では、レンズの焦点をフロントガラス面としているため、車両周辺状況を撮影するには車両周辺監視用の撮像装置を設置する必要があることが記載されている。
特許文献３にあるような、遠近両用の焦点を有するレンズを用いれば、フロントガラス面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難である。なお、発明者らは実験により、このような課題があることを確認した。
【０００６】
また、特許文献３のように、レンズの領域分割により遠近の２焦点を形成することは単レンズであれば可能性があるが、一般に車両に搭載される撮像レンズは４枚〜６枚程度であり、このような複数枚レンズにおいて領域分割することは極めて困難である。
特許文献４によれば、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、雨滴の多少を推定する内容が記載されていない。
本発明は、上記に鑑みてなされたもので、その目的としては、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出することが可能な撮像方法および撮像ユニットを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の発明は、フロントガラスに向けて光源から光を照射し、前記光をフロントガラスに入射させ、前記フロントガラスの光入射側と反対側のガラス表面に付着した雨滴に光を入射させ、前記雨滴と空気界面で反射させ、前記フロントガラスから射出した光を、前記フロントガラスに対して前記光源と同じ側に配置した撮像レンズにより集光して撮像素子により撮像する撮像方法において、前記撮像レンズの焦点は、前記フロントガラスの位置よりも遠方に設定し、前記光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像に含まれる前記光に対応するスポット内の画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する検出ステップを行う撮像方法を特徴とする。
【発明の効果】
【０００８】
本発明によれば、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】自動車などの車両に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図。
【図２】図１における撮像ユニットの構成について説明する図。
【図３】撮像装置の構成を示す図。
【図４】光学フィルタのフィルタ領域の分割について説明する図。
【図５】光学フィルタを特性によって分割するために光学フィルタに設けた分光フィルタを示す図。
【図６】センサ基板部の拡大図。
【図７】図２に示す撮像ユニットにより撮影された画像を写真で示す図。
【図８】雨滴の輝点検出を説明する図。
【図９】雨滴検出機能における光源設置角度について説明する図。
【図１０】３つの光源を配置した場合の例を示す図。
【図１１】撮像装置の画角を考慮した設定した光源配置を示す図。
【図１２】折り返しミラーを含む光源配置を示す図。
【図１３】空間的な間欠パターンを照明するためのパターン照明光学系を説明する図。
【図１４】雨滴検出における外乱光成分の処理について説明する図。
【図１５】赤外光カットフィルタの特性を示す図。
【図１６】撮像画像から雨滴特性を算出する方法について説明する図。
【図１７】雨滴特性の算出について説明するフローチャート。
【図１８】第２実施形態に係る撮像ユニットによる雨滴特性の算出について説明するためのフローチャート。
【図１９】予め把握している照明領域を示す図。
【図２０】検出領域の細分化について説明するための図。
【図２１】第３実施形態に係る撮像ユニットによる雨滴特性の算出について説明するためのフローチャート。
【図２２】照明領域内の雨滴スポット分布を示す図。
【図２３】雨滴数量と分散値の関係をグラフで示す図および分散値と全領域輝度平均値の関係をグラフで示す図。
【図２４】雨滴数量と全照明領域輝度平均値の関係をグラフで示す図。
【図２５】分光フィルタ層の特性をグラフで示す図。
【図２６】フィルタ透過率と波長の関係を示す図。
【図２７】光学フィルタと画素センサの画素の配置を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。
＜第１実施形態＞
本発明の第１実施形態に係る画像処理システムについて説明する。
図１は、自動車などの車両１００に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット１０１と画像解析ユニット１０２とを有している。
【００１１】
撮像ユニット１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー位置に設置されている。撮像ユニット１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から出力された画像信号を解析する。
具体例としては、画像解析ユニット１０２は、車両１００の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット１０３は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した距離値から、ヘッドライト１０４を制御する制御信号を生成する。ヘッドライト制御ユニット１０３が生成した制御信号は、ヘッドライト１０４に送られる。ヘッドライト制御ユニット１０３は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト１０４のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。
【００１２】
また、画像解析ユニット１０２は、車両のフロントガラス１０５に付着した異物を検出する。
ワイパー制御ユニット１０６は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した異物や雨量などから、ワイパー１０７を制御する制御信号を生成する。
ワイパー制御ユニット１０６が生成した制御信号は、ワイパー１０７に送られる。ワイパー制御ユニット１０６は、ドライバの視界を確保するべく、ワイパー１０７を稼動させる。
【００１３】
また、画像解析ユニット１０２は、車両が進行する道路の路面領域や白線を検出する。
画像解析ユニット１０２は、車両１００が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット１０８は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット１０８は、ハンドルやブレーキの制御をも行うことも出来る。
【００１４】
図２は、図１における撮像ユニット１０１の構成について説明する図である。
撮像ユニット１０１は、図２（ａ）に示すように、撮像装置２０１、光源２０２を備えている。
また、撮像ユニット１０１は、車両１００の室内側に、フロントガラス１０５に対向するように設置されている。
また、撮像装置２０１は、図２（ｂ）に示すように、撮像レンズ２０４、光学フィルタ２０５および撮像素子２０６を備えている。
【００１５】
図２（ａ）に示す光源２０２は、フロントガラス１０５に向けて発光するように配置され、フロントガラス１０５を照射する。
光源２０２は、図２（ａ）に示すように、フロントガラス１０５面の異物や雨滴を検出するために設置されている。フロントガラス１０５の外側に雨滴２０３が付着している場合、光源２０２が発した光は、雨滴と空気の界面で反射し、その光は撮像装置２０１に入射する。
なお、撮像ユニット１０１は、図２（ａ）に示すように、撮像装置２０１、光源２０２をケース２０７によって覆っている。このように撮像ユニット１０１を囲んでしまうと、フロントガラス１０５の他の部分で曇りが発生しても撮像装置２０１付近のフロントガラス１０５では、曇りの発生が妨げられ、撮像装置２０１は誤認識することなく動作することが可能である。一方で、撮像装置２０１を用いて曇りを検出して、エアコンの制御などを行いたい場合は、フロントガラス１０５と同一環境となるようにケース２０７の一部に空気の流れる通路を設けてやればよい。
【００１６】
図３は、撮像装置２０１の構成を示す図である。
図３に示す撮像装置２０１は、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６を含むセンサ基板６０１、信号処理部６０２を備えている。
被検物からの光は撮像レンズ２０４を通り、光学フィルタ２０５を透過して撮像素子２０６で電気信号に変換される。
信号処理部６０２では、撮像素子２０６から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置２０１は、画像データとして、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ２０４の焦点位置は、無限遠或いは、無限遠とフロントガラス１０５との間に設定している。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
【００１７】
ところで、上述した無限遠またはフロントガラス１０５より遠方に焦点を合わせるレンズ構成に加え、光学フィルタ２０５を、その撮像素子側に設けた分光フィルタによって光学特性の異なる領域に分割し、分光フィルタを設けた領域に雨滴検出機能を、分光フィルタを設けない領域に配光制御等その他の機能に用いる他の検出機能（車両周辺情報検出機能）を割り当てることにより、撮像ユニット１０１を複数機能に兼用することが出来る。
下記に説明する本実施形態では、フロントガラス１０５面の異物や雨滴を検出する画像領域（雨滴検出領域）と、先行車や対向車或いは路面や白線を検出する画像領域（車両周辺情報検出領域）とを両立するものである。両立に対しては、部分的に上記分光フィルタが形成されたものを用いればよい。
【００１８】
図４は、光学フィルタの分割について説明する図であり、（ａ）は、領域によって光学特性を異ならせた光学フィルタの例を示す図であり、（ｂ）は、かかる撮像装置を用いて撮影した車両と雨滴の画像の例を示す図である。
例えば、図４（ａ）に示すように光学フィルタ２０５を分割し、画面の中央部１／２の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域５２とし、画面下部および上部の１／４領域ずつを、雨滴検知を行うように、後述する理由によって赤外光のみを透過させて画像処理を行うための雨滴検出領域５１とする。
図４（ｂ）は、車両と雨滴の撮影画像の一例を示しており、画面下方の雨滴検出領域５１内にボンネットのある部分３１を破線で示しており、雨滴２０３が映っている。また、画面中央の領域５２内に、路面３２、先行車３３が映っている。
【００１９】
図５は、光学フィルタを特性によって分割するために光学フィルタに設けた分光フィルタを説明する図である。
本実施形態では、図５に示すように、光学フィルタ２０５の両面（撮像レンズ側２０５ａ、撮像素子側２０５ｂ）に分光フィルタ層２０５Ａ、２０５Ｂが形成されている。
そして、分光フィルタ２０５Ｂは、上述した雨滴検出領域５１に対応した箇所に設けられている。また、分光フィルタ２０５Ａが設けられていない箇所が、車両周辺情報検出領域５２に対応している。
【００２０】
各フィルタ層の特性については、下記に詳述する。
雨滴検出領域５１を画面上下部に設け、車両周辺情報検出領域５２を中央部に設けた理由としては、雨滴検出以外の検出機能については、被写体は、主として画面中央部に写ることが多いことがあげられる。
例えば、配光制御では、画面中央部に対向車のヘッドライト及び先行車のテールランプ、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、雨滴検知機能と、その他検出機能を両立させる場合には、画面上部ならびに下部を雨滴検出フィルタ用の赤外光透過フィルタ領域（雨滴検出領域５１）とする図４（ａ）の構成が好適である。
【００２１】
また、通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールランプなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、図４（ａ）に示すような分光フィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域（雨滴検出領域５１）に割り当てることができる。
もちろん、雨滴検出のみを行う場合は、光学フィルタ２０５の撮像素子側２０５ｂの全面に雨滴検出フィルタ（分光フィルタ２０５Ｂ）を形成してもよい。
なお、撮像レンズ２０４の特性により、撮像対象となる実際の光景と撮像素子３０に集光された映像とでは天地が逆になる。そこで、画面下部を雨滴検知用の赤外光透過領域とするためには、光学フィルタ２０５の天側に分光フィルタ２０５Ｂを設けて赤外透過フィルタ領域（雨滴検出領域）５１とする。
【００２２】
次いで、光学フィルタと撮像素子の接合について説明する。
図６は、センサ基板部の拡大図である。
撮像素子２０６は、ＣＣＤやＣＭＯＳなどを受光素子であり、画素ごとにフォトダイオード２０６ｂが２次元画像を構成するべくアレイ配置されたものである。
フォトダイオード２０６ｂの表面にはマイクロレンズ２０６ａが形成されておりフォトダイオード２０６ｂとしての集光効率を上げている。このような撮像素子２０６は、ワイヤボンディングなどの手法によりＰＷＢ基板２０７に接合されてなり、信号処理部６０２に情報を伝達されている。そしてこのようなセンサ基板２０７の前段に光学フィルタ２０５が配置されている。撮像素子のマイクロレンズ側の面には光学フィルタ２０５が近接配置される。
光学フィルタ２０５と撮像素子２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。
光学フィルタ２０５と撮像素子２０６を密着接合することにより、雨滴検出領域５１（図４）、と車両周辺情報を検出するエリア５２（車両周辺情報検出領域）との境界が明確になり、雨滴有無の判別精度が上げられる。
【００２３】
また、図４に示すような画面上部と下部に雨滴検出領域５１を設けたパターンが望ましい。画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域５１を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することは難しく、光学フィルタ２０５の厚みの分だけ傾いてしまう。傾いて接着してしまうと画面上部と画面下部で光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子２０６を平行に接着することが可能である。
画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域５１は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。
【００２４】
図７は、図２に示す撮像ユニット１０１により撮影された画像を写真で示す図である。
なお、図７に示す写真は、図４の雨滴検出領域５１における画像である。
雨滴の撮像状態の一例としては、図７（ａ）に示すように、各雨滴の輝点が見える。ピントを無限遠に合わせていることにより、ボケた像となる。
図７（ｂ）は、フロントガラス面にピントを合わせた場合の撮像状態を示しており、背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。
映りこむ背景画像は、走行シーンによって変化してしまい、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化に対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図７（ａ）に示すような多少ボケが発生した場合は、背景の外乱光による変化を大幅に低減できる。多少のボケを発生させることで、画像認識の際に用いられる参照形状、例えば、円形としての認識率が高くなり、雨滴検出性能が向上する。
【００２５】
上述した輝点の検出に関について説明する。
図８は、雨滴の輝点検出を説明する図である。
図８に示すように、光源２０２から射出された光線Ａ−１は、フロントガラス１０５面（光源２０２側の面）で屈折してフロントガラス１０５内に入射し、もう一方のフロントガラス１０５面から、付着した雨滴２０３に入射する。
この場合、雨滴２０３と空気の界面にて広範囲の角度に反射光が生じるが、撮像装置２０１の画角に対応した入射光線Ｃ−２と、フロントガラス１０５面での屈折角が一致する光線Ｃ−１の成分のみが撮像できることになる。
この光線は、上記雨滴２０３と空気の界面全体のうち、極めて小さい面積からの反射光であり、結果、輝“点”として撮像される。
【００２６】
図９は、雨滴検出機能における光源設置角度について説明する図である。
図９（ａ）は、光源２０２、フロントガラス１０５、撮像装置２０１の配置について説明するための図である。
撮像装置２０１が水平に配置されており、フロントガラス１０５の法線１０５ａに対する仰角をθａとする。
これに対して、光源２０２はフロントガラス１０５の法線１０５ａに対して仰角θで配置され、光源２０２からの出射光がフロントガラス１０５に入射する。
仰角θは、下記のような範囲で設定される。
θａ−５０ｄｅｇ＜θ＜θａ＋２０ｄｅｇ
【００２７】
また、図９（ｂ）は、光源の角度と撮像光量の関係について説明するための図である。
図９（ｂ）に示すように、撮像光量は、光源２０２の仰角がθ付近、もしくは僅かにθより低い値にて極大値をとり、上記の範囲で撮像光量を得ることが可能な特性となる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が６０ｄｅｇ以上の場合に有効な数値範囲である。
この範囲での設置により、光源２０２から射出され、フロントガラス１０５表面に付着した雨滴からの反射光を、図７（ａ）に示すような輝点として撮像することができる。
【００２８】
次いで、水平方向の光源設置角度について説明する。
図１０は、３つの光源を配置した場合の例を示す図であり、（ａ）は３個の光源２０２−Ｒ、２０２−Ｃ、２０２−Ｌを配置した例を示す側面図、（ｂ）はその上面図であり、撮像装置の水平方向の画角を考慮した光源配置設定を示している。また、図１０（ｃ）は光源の仰角と雨滴反射光の撮像光量をグラフで示す図である。
図１１は、撮像装置の画角を考慮した設定した光源配置を示す図である。
図１０（ａ）に示す側面図において、雨滴２０３に対して光源２０２−Ｒからの射出光で照明し、撮像装置で撮像する、このとき、雨滴２０３の領域における撮像画角θｕに対し、光源２０２−Ｒの射出角（ガラス入射角）θＬＳは、以下の範囲で設定する。
θｕ−２０≦θＬＳ≦θｕ＋２０ｄｅｇ
これにより、雨滴と空気の界面からの反射光を高効率で検出、撮像することができる。
【００２９】
また、図１０（ｃ）に示すように、フロントガラス１０５の法線１０５ａに対する光源の仰角θＬＳが上記撮像画角Ｑｕと一致若しくはその近傍となる場合に、雨滴反射光の撮像光量の値が極大となる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が６０ｄｅｇ以上の場合に有効な数値範囲である。
図１０（ａ）に示す複数個配置された光源については、上記関係を満たせば、図１１に示すように、互いの光線が交差するような角度配置としてもよい。
【００３０】
図１２は折り返しミラーを含む光源配置を示す図である。
光源２０２−Ｌ、Ｃ、Ｒの照射方向については、これまで示したガラス面に対向するものばかりでなく、図１２に示すように、折り返しミラー２０８を含めた、逆方向の配置としてもよい。
ミラー２０８を含めることで、光源配置の自由度の向上及び、小型化に寄与できる。
【００３１】
次いで、光源について説明する。
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いればよい。
射出光束の形態としては、略平行光であることが望ましい。光源２０２の、光路上の直後に配置されたコリメートレンズ等により、平行光を形成して射出できる。光源２０２は、上述したように光束の形態を調整可能なレンズ等の構成要素を含んだものである。
【００３２】
また、光源２０２の発光波長としては、可視光や赤外光を用いればよい。特に夜間などに、対向車や歩行者を眩惑させないためには、可視光より波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長（例えば８００〜１０００ｎｍの中の波長）を選べばよい。特に、直射日光などの外界からの光の影響を低減するためには、波長９４０ｎｍ付近を選択することが有効である。
また、本実施形態では、後述するフィルタとの波長範囲を整合する必要がある。
フィルタ構成として、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみを透過する分光フィルタ層Ａと、光学フィルタ２０５を構成する基板の撮像素子２０６側の面にある有効撮像領域の一部エリアに、波長λ３〜λ５（λ３＜λ５）の範囲の波長成分のみを透過する領域分割型分光フィルタ層Ｂを有した場合に、発振波長範囲は、λ３〜λ４、もしくはλ３〜λ５、いずれか幅が狭い方に包含されている必要がある。
ここで述べた発振波長範囲とは、強度スペクトルの半値全幅、もしくは半値以下のしきい値における全幅であることが望ましい。
【００３３】
次いで、パターン照明とその光源配置について説明する。
図８に示す光源２０２について、コリメートレンズ等により平行光を形成し射出する手段について述べたが、ウィンドウガラス（フロントガラス）１０５への照明としては、ほぼ一様な強度で照明する手段のほかに、照明の有無を領域によって変調する方法がある。
上記において図７について説明したように、雨滴の反射光は、ボケた像として撮像されるため、雨滴の密度によっては、隣接した雨滴の像が重畳されたものが撮像され、個々の雨滴の光スポットを分離することが困難になる。
この課題を解決するためには、空間的な間欠パターンを照明し、個々の雨滴を撮像することで、重畳の影響を低減すればよい。
【００３４】
図１３は、空間的なパターンを照明するためのパターン照明光学系を説明する図であり、（ａ）はその構成を示す図、（ｂ）は照射パターンの一例を示す図である。
パターン照明を行う構成としては、以下の図１３（ａ）ものがある。発光体（光源）２１ａ、ｂと２個を近接して配置し、それらをコリメートレンズ２２にて平行光とし、シリンドリカルレンズアレイ２３に入射する。
発光体、コリメートレンズ、シリンドリカルレンズは、シリンドリカルレンズアレイ２３から射出した光がウィンドウガラス１０５上で略集光するように部品配置される。
このとき、各発光体から射出されコリメートレンズ２２で平行光として射出される光は、その光源の位置のずれから、互いに射出方向が僅かに異なり、それらがシリンドリカルレンズアレイ２３を経てウィンドウ上で集光される際、互いにパターン位置がずれるよう設計される。
【００３５】
例えば、図１３（ｂ）に示すように、横方向の線上のパターンにおいて、互いに明、暗の位置が反転しているものとなる。重畳すると右図のように空間的に一様パターンとなる。ここで、図１３（ｂ）には、発光体２１ａの照明パターン２５ａ、発光体２１ｂの照明パターン２５ｂ、重畳した照明パターン２６を示す。
発光体２１ａ、ｂは、発光タイミングをずらして交互点灯し、それと同期した像を撮像することにより、個別の雨滴検出画像を撮像できる。
ここでは、シリンドリカルレンズ２３を用いた、一方向のみの空間変調パターンを用いた例を示したが、２次元パターン、例えば照明パターンが千鳥格子となるものなどでもよい。この場合は、先のシリンドリカルレンズアレイ２３をマイクロレンズアレイに置換し、配置を適宜設計することで実現できる。
また、発光体として、２１ａ、ｂの２個を用いた構成を示したが、発光体としては３個以上の構成としても構わない。
【００３６】
以上の構成により、雨滴の粗密に関わらず、より独立性の高い、個々の雨滴の光スポットを得ることができる。
また、本実施形態の光源照射方法としては、上記の空間変調パターンに限定されるものではなく、ビームプロファイルを変更する光学素子を備えてもよい。ここで、ビームプロファイルとは光源からの光の断面形状であり、ＬＤやＬＥＤでは楕円形状であり、その強度分布としてはガウス分布状のビーム形状などの、光軸上が高強度となる楕円形や円形の強度分布を有する。
【００３７】
このような楕円形状を矩形パターンに変換してもよい、また強度分布をトップハット状の強度分布に変換してもよい。例えばビーム形状としては矩形状のパターンに変換してやれば、光源照射領域の画像の領域分割がし易くなるし、トップハット状の強度分布形状にしてやれば領域分割した各領域の光照射強度を均一化できる。均一な強度分布とすることで、後述の雨滴サイズ、数量の推定計算の高精度化に寄与する。これの形状変化や強度分布変化は、よく知られた回折光学素子を用いることにより実現できる。
【００３８】
次いで、雨滴検出における外乱光成分について説明する。
図１４は、雨滴検出における外乱光成分の処理について説明する図であり、（ａ）は雨滴検出用として用いる分光フィルタ２０５Ｂの一例としてのカットフィルタの特性を示す図であり、（ｂ）は同じく雨滴検出用として用いる分光フィルタ２０５Ｂの一例としてのバンドパスフィルタの特性を示す図である。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源２０２は、例えば屋外における直射日光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
【００３９】
次いで、雨滴検出機能における要求フィルタ特性（赤外光透過フィルタ）について説明する。
例えば、図１４（ａ）に示すように、光源２０２の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは図１４（ｂ）に示すような、透過率のピークを光源２０２の発光波長とほぼ一致させたバンドパスフィルタを、光学フィルタ２０５の撮像素子側２０５ｂに形成してやってもよい。
これにより、必要となる光源２０２の発光波長以外の光を除去し、検出される光源２０２の光量を相対的に大きくできる。
【００４０】
次いで、その他の検出機能における要求フィルタ特性として、赤外光カットフィルタについて説明する。
図１２は赤外光カットフィルタの特性を示す図である。
先に例としてあげた配光制御も含め雨滴検出以外の検出機能に係るフィルタとしては、可視光を透過することに加え、赤外光をカットできることが望ましい。代表的な波長特性を図１２に示す。この図では、可視光領域の例として、４００〜６７０ｎｍを透過し、６７０ｎｍより長い赤外光領域をカットするショートパスフィルタ特性となっている。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。
ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。
本実施形態では、雨滴検出波長を除く赤外光をカットする分光フィルタ２０５Ａを２０５ａ側に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、テールランプの検出精度を向上させることができる。
【００４１】
次いで、光源のフロントガラス表面からの不要反射光に対する対策について説明する。
光源２０２は、フロントガラス１０５表面でその一部は透過するが、残りは反射し外乱光となる。
このような外乱光に対しては、光源のフロントガラス１０５へ向かって射出する光の光軸と、前記撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過する図示しない偏光フィルタを配置している。
図１６は、撮像画像から雨滴特性を算出する方法について説明する図であり、（ａ）〜（ｃ）は雨滴画像の一例を示す図であり、（ｄ）は雨滴サイズと雨量スポット輝度の関係の一例を示す図である。
上記手段により撮像された雨滴画像は、図１６（ａ）に示すように、概ね円形パターンが複数含まれる画像となる。この円形パターンは、個々の雨滴の輝点に対応している。
特に図１６（ｃ）に示す円形のサイズ（図中Ｄはパターンの直径）は、撮像レンズのｆ値及び、ウィンドウ位置から無限遠位置までの何れかの位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
また、上記円形パターンの輝度値については、雨滴サイズとの関連性があり、概ね図１６（ｄ）に示すグラフように、サイズの増大に伴い、輝度値が高まる傾向がある。この雨滴サイズと輝度値の関連性についても、予め実験などにより把握しておく。
【００４２】
図１７は、雨滴特性の算出について説明するフローチャートである。
なお、図１７に示すフローチャートは一様な照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部６０２は、ＲＯＭ、ＲＡＭおよびＣＰＵを有し、ＣＰＵがＲＯＭに記憶されているプログラムを読み出して実行する。
図１７において、ステップＳ５では、信号処理部６０２は、撮像ユニット１０１に雨滴を含む画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ１０では、信号処理部６０２は、上記メモリに記憶した画像に対して、雨滴スポットの画素抽出を行う。
これは、予め把握している照明領域（例として、図１９に示す枠２５０）の内側の画素Ｇに対し、しきい値処理を行い、特定の輝度値であるしきい値Ｇｔｈ以上の複数の画素Ｇについて抽出して、メモリに記憶する。
次いで、ステップＳ１５では、信号処理部６０２は、この抽出された画素をメモリから読み出し、この抽出された特定のしきい値Ｇｔｈ以上の複数の画素Ｇをカウントすることで画素数算出を行い、結果値である画素数Ｎをメモリに記憶する。
次いで、ステップＳ２０では、信号処理部６０２は、画素数算出により求められた画素数Ｎに対し、予め把握してあった基準となる１つの単一円形パターンに含まれる画素数Ｎｃｐにより除算することで、雨滴の数量を示す雨滴数量推定値Ｍを算出する。
【００４３】
一方、ステップＳ３０では、信号処理部６０２は、しきい値Ｇｔｈ以上の複数の画素Ｇをメモリから読み出し、しきい値Ｇｔｈ以上の画素Ｇの輝度値を全て加算して画素数Ｎで減算することで平均値Ｇａｖを算出するとともに、輝度値として頻度の高い値Ｇｆｍａｘを求めることで、スポット輝度代表値算出を行う。なお、ここでは、Ｇｆｍａｘ＝Ｇａｖとし、平均値Ｇａｖをスポット輝度代表値として扱うこととする。
次いで、ステップＳ３５では、信号処理部６０２は、算出されたスポット輝度代表値Ｇｆｍａｘに対して、上記図１６（ｄ）において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００４４】
＜第２実施形態＞
本発明の第２実施形態に係る画像処理システムについて説明する。
図１７に示すフローチャートの場合、「スポット輝度代表値算出」の際に、対象画像が、複数の雨滴によるスポットが互いに重畳された画像である場合、数が多いのか、個々のスポットの輝度が高いのかについての切り分けが難しいため、代表値の算出が困難になる場合もある。
この問題を解決するために、図１８に示すフローチャートの場合、上述した「パターン照明とその光源配置」について説明したパターン照明によって得られた個別の画像を用いることで、個々の雨滴スポットが重なり合う影響を低減することができ、雨滴の数量と、個々のスポットの輝度（サイズ）の個別の推定が容易となる。
次いで、図１８に示すフローチャートを参照して、雨滴特性の算出について説明する。先ず、図１８について説明する。なお、図１８に示すフローチャートはパターンを有する照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部６０２は、ＲＯＭ、ＲＡＭおよびＣＰＵを有し、ＣＰＵがＲＯＭに記憶されているプログラムを読み出して実行する。
【００４５】
まず、ステップＳ１０５では、信号処理部６０２は、撮像ユニット１０１に各照明による複数の画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ１１０では、信号処理部６０２は、上記メモリに記憶した各照明によるそれぞれの画像に対して、雨滴スポットの画素抽出を行う。これは、予め把握している照明領域（例として、図１９に示す枠２５０）の内側の画素Ｇに対し、しきい値処理を行い、特定の輝度値であるしきい値Ｇｔｈ以上の複数の画素Ｇについて抽出して、メモリに記憶する。
次いで、ステップＳ１１５では、信号処理部６０２は、各照明による複数の画像を、各画素の輝度の足し合わせを行うことで重畳し、重畳した結果をメモリに記憶する。
次いで、ステップＳ１２０では、信号処理部６０２は、この重畳された画素をメモリから読み出し、この抽出された特定のしきい値Ｇｔｈ以上の複数の画素Ｇをカウントすることで画素数算出を行い、結果値である画素数Ｎをメモリに記憶する。
次いで、ステップＳ１２５では、信号処理部６０２は、画素数算出により求められた画素数Ｎに対し、予め把握してあった基準となる１つの単一円形パターンに含まれる画素数Ｎｃｐにより除算することで、雨滴の数量を示す雨滴数量推定値Ｍを算出する。
【００４６】
一方、ステップＳ１４０では、信号処理部６０２は、各照明によるそれぞれの画像に対し、しきい値Ｇｔｈ以上の複数の画素Ｇをメモリから読み出し、しきい値Ｇｔｈ以上の画素Ｇの輝度値を全て加算して画素数Ｎで減算することで平均値Ｇａｖを算出するとともに、輝度値として頻度の高い値Ｇｆｍａｘを求めることで、スポット輝度代表値算出を行う。なお、ここでは、Ｇｆｍａｘ＝Ｇａｖとし、平均値Ｇａｖをスポット輝度代表値として扱うこととする。
次いで、ステップＳ１４５では、信号処理部６０２は、算出されたスポット輝度代表値Ｇｆｍａｘに対して、上記図１６（ｄ）において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００４７】
＜第３実施形態＞
本発明の第３実施形態に係る画像処理システムについて説明する。
本実施形態では、撮像画像から雨滴の特性を算出する方法について説明する。なお、図１７、図１８とは別の雨滴特性算出方法について説明するものである。
ここでは、図１９に示す枠２５０で示した照明領域を、複数領域に細分し、それぞれの領域の輝度特性の違いを検出する。
【００４８】
図２０は検出領域の細分化について説明するための図である。
図２０において、枠２５１で示した横９個、縦６個の矩形が細分化領域である。これらの領域設定については、既知の照明領域範囲（枠２５０）のなかで予め行っておく。
図２１は、細分化領域の輝度情報を用いて雨滴特性を算出する方法について説明するフローチャートである。
まず、ステップＳ２０５では、信号処理部６０２は、撮像ユニット１０１に雨滴を含む画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ２１０では、信号処理部６０２は、上記メモリに記憶した画像を読み出し、この画像をＭ個の細分化領域に細分化するとともに、それぞれの細分化領域について輝度の平均値Ｇａｖ１〜ＧａｖＭを算出して、メモリに記憶する。これらの平均値は、それぞれの領域での雨滴重複の有無、度合いを反映したものとなる。
次いで、ステップＳ２１５では、信号処理部６０２は、各細分化領域の平均値Ｇａｖ１〜ＧａｖＭについて、分散値を算出して、メモリに記憶する。分散値は、図２２に示すような雨滴分布の疎密を表す指標となる。
【００４９】
図２２は照明領域内の雨滴スポット分布を示す図であり、（ａ）は雨滴数量：少、（ｂ）は雨滴数量：中、（ｃ）は雨滴数量：多をそれぞれ示している。
一方、ステップＳ２１５では、信号処理部６０２は、細分化処理を行う以前の全照明領域についての平均値Ｇａｖを算出して、メモリに記憶する。
図２３（ａ）は雨滴数量と分散値の関係をグラフで示す図であり、図２３（ｂ）は、分散値と全領域輝度平均値の関係をグラフで示す図である。
雨滴数量の変化により、上記分散値は、図２３（ａ）に示すような変化を生じる。雨滴サイズに応じて最大値は異なるが、いずれにおいても雨滴数量が中程度の際に極大値をとる。
【００５０】
また、この分散値と、全照明領域の輝度平均値Ｇａｖとの関係は、図２３（ｂ）に示すようになる。
この図から、上記輝度平均値、分散値を測定、算出することにより、雨滴サイズを推定できる。本実施形態では、図２３（ｂ）の関係についても、前項で示した雨滴スポットのサイズ、及び、雨滴サイズとスポット輝度との関係を用い、予めデータテーブルとして算出しておき、図２１に示すフローチャートのステップにおいて利用する。
そこで、ステップＳ２２５では、メモリから全照明領域の輝度平均値Ｇａｖと分散値を読み出し、図２３（ｂ）に示す上記輝度平均値と分散値および雨滴サイズの関係から、推定した雨滴サイズの情報を読み出す。
【００５１】
雨滴数量の推定については、図２４に示す関係を用いる。
図２４は雨滴数量と全照明領域輝度平均値の関係をグラフで示す図である。
雨滴数量の増加に対し、全照明領域の輝度平均値は、概ね増加する傾向にある。また、雨滴サイズについても、前項で示したように、雨滴サイズが大きいほど、輝度としては高くなる。この関係も予め実験などにより把握しておく。
そこで、ステップＳ２３０では、全照明領域の輝度平均値Ｇａｖと、推定した雨滴サイズの情報と、図２４に示すグラフにおける雨滴数量と全照明領域の輝度平均値Ｇａｖの関係から、雨滴数量を推定できる。
これにより、撮像された雨滴画像は、図１６に示すような概ね円形パターンが複数含まれる画像となる。この円形パターンは個々の雨滴の輝点に対応している。円形のサイズ（図中Ｄはパターンの直径）は撮像レンズのｆ値及び、ウィンドウ位置〜無限遠位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
【００５２】
図２１に示すフローチャートにおいては、ステップＳ２１０で「各細分化領域の平均値」を算出した後、ステップＳ２１５でそれらの「分散の算出」をしたが、本発明はこのような順序に限定されるものではない。すなわち、「各細分化領域内の分散」を算出したのち、それらの「平均値の算出」を行っても、類似の結果を得ることができる。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００５３】
次いで、図５に示した分光フィルタの構成について説明する。
先の撮像ユニット構成の項で述べた要求フィルタ特性を考慮した実施例を示す。
図２５は、分光フィルタ層の特性をグラフで示す図であり、（ａ）は分光フィルタ層２０５Ａ（実施例Ａ−１）、（ｂ）は分光フィルタ層２０５Ｂ（実施例Ｂ−１）、（ｃ）は（実施例Ａ−１、Ｂ−１）の重畳フィルタ特性を示す図である。
【００５４】
＜実施例Ａ−１＞
フィルタ特性の組み合わせについて説明するための実施例Ａ−１である。
光学フィルタ２０５の撮像レンズ２０４側の面２０５ａには分光フィルタ層２０５Ａが形成されている。分光フィルタ層２０５Ａの特性の実施例Ａ−１は、図２５（ａ）のように波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光帯域と、波長範囲９２０〜９６０ｎｍの光源波長帯域を透過する。ここでは、雨滴検出用の光源の中心波長は９４０ｎｍ、半値全幅は１０ｎｍのものを用いる前提である。
ここで、λ１〜λ４の対応は以下となる。
λ１：４００ｎｍ（イメージセンサ感度の短波長側の限界値）
λ２：６７０ｎｍ
λ３：９２０ｎｍ
λ４：９６０ｎｍ
雨滴検出機能には、光源波長帯域の透過を利用する。
その他の検出機能には、可視光帯域の透過を利用する。また、波長７００〜９２０ｎｍ範囲の光は透過しない、若しくは、透過率５％以下が望ましい。この波長の透過を抑制する理由としては、先の要求フィルタ特性として述べたとおり、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。
そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。この観点からは、先の光源波長帯域の９２０〜９６０ｎｍ範囲も透過しないことが望ましいが、可視光帯域に比較して帯域が狭小であること、かつＣＭＯＳをはじめとする可視光用イメージセンサにおいて相対的に低感度であることから、光量が十分に小さく、影響は無視できる。
【００５５】
＜実施例Ｂ−１＞
また、光学フィルタ２０５の撮像素子２０６側の面２０５ｂにおける、雨滴検出機能の領域には分光フィルタ層２０５Ｂが形成されている。
分光フィルタ層２０５Ｂの特性の実施例Ｂ−１を図２５（ｂ）に示す。
図２５（ｂ）に示すように、波長範囲８８０〜１１００ｎｍの赤外光領域を透過帯としており、撮像レンズ２０４側の面２０５ａの分光フィルタ層２０５Ａとの組合せにより、波長範囲９２０〜９６０ｎｍの範囲の光のみを透過することとなる。この波長範囲の中心値と光源２０２の発光波長を略同等しておくのが望ましい。
ここで、λ５、λ６の対応は以下となる。
λ５：８８０ｎｍ
λ６：１１００ｎｍ（イメージセンサ感度の長波長側の限界値）
これらフィルタＡ−１、Ｂ−１の配置により、雨滴検出機能の領域のフィルタ特性は、図２５（ｃ）におけるハッチング領域、即ち９２０〜９６０ｎｍの範囲のみを透過するものとなる。
上述したとおり、雨滴検出用の光源として中心波長は９４０ｎｍ、半値全幅１０ｎｍのものを用いているので、上記のハッチングされた９２０〜９６０ｎｍの帯域を雨滴検出の光源からの射出光は透過できる。
また、この雨滴検出機能のフィルタ領域では、直射日光などの外乱光成分についてもこの９２０〜９６０ｎｍの帯域を透過する僅かな成分しかセンサに入射しないことから、外乱光を大幅に低減することができ、雨滴検出の精度向上につながる。
【００５６】
＜実施例Ｂ−２＞
次いで、フィルタ特性の組み合わせの実施例Ｂ−２について説明する。
なお、上記分光フィルタＢに関して、実施例Ｂ−１に代えて、図２６に示す実施例Ｂ−２を用いることもできる。
図２６はフィルタ透過率と波長の関係を示す図である。
図２６では波長範囲９２５〜９６５ｎｍの赤外光領域を透過帯としており、２０５ａ側の面の分光フィルタ層Ａとの組合せにより、概ね上記の波長範囲９２５〜９６０ｎｍの範囲の光のみを透過することとなる。
ここで、λ５、λ６の対応は以下となる。
λ５：９２５ｎｍ
λ６：９６５ｎｍ
次いで、図２６に示す分光フィルタ層Ｂの実施例Ｂ−２について説明する。
この特性により、先の実施例Ａ−１、Ｂ−１の組み合わせの場合よりも更に透過帯域が狭まり、直射日光などの外乱光成分を更に低減することができる。勿論、上記の雨滴検出の光源からの射出光は透過できる。
本実施形態では分光フィルタ２０５Ａ、２０５Ｂの組み合わせによる効果を示しているが、若干の効果の低下を許容すれば、分光フィルタ２０５Ａ、分光フィルタ２０５Ｂのフィルタ単体の利用においても有効である。
上記特性の設計に際しては、レンズからフィルタに入射する際の光束角度を考慮に入れ、それらの光束に合わせて検討が行われる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタを分光フィルタ層Ｂと光学フィルタの基板の間に形成してもよい。
【００５７】
次いで、フィルタ部の構成として領域分割パターンを用いた場合について説明する。
図２７は光学フィルタと画素センサの画素の配置を示す図である。
光学フィルタ２０５の撮像素子２０６側の面には、領域分割されたパターンが形成されてなり、例えば図２７に示すようにフォトダイオード１個ごと、すなわち１画素Ｇごとに応じた市松状のパターンを撮像素子の画素に一致するように配置されている。
光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５上の領域の境界と、撮像素子２０６上の領域の境界を一致させ易くなる。
なお、ここでは、撮像素子としてはモノクロ画像用撮像素子を前提にして説明する。また、カラー用撮像素子を用いてもよく、カラー用撮像素子を用いる場合は、撮像素子の各画素に付属するカラーフィルタの特性に応じて光学フィルタの各パターンの透過特性を調整すればよい。
これらの画素単位の異なる情報から、後述する各種画像が形成される。このような画像形成はカメラ内部の信号処理部６０２で行われる。
【００５８】
＜実施例Ｃ＞
次いで、フィルタ領域分割パターンの実施例Ｃについて説明する。
フィルタ領域分割パターンとしては、画素サイズ相当の領域分割であるものに限られず、図４および図５に示すような画面全体のうちの上部１／４、下部１／４の２領域に形成したものであってもよい。
【符号の説明】
【００５９】
１０１ 撮像ユニット、１０２ 画像解析ユニット、１０５ フロントガラス、２０１ 撮像装置、２０２、２０２’ 光源、２０４ 撮像レンズ、２０５ 光学フィルタ、２０６ 撮像素子、２０７ センサ基板、６０２ 信号処理部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特許第３５３６７３８号
【特許文献２】特開２０１０−２０４０５９号公報
【特許文献３】特開２００５−２２５２５０号公報
【特許文献４】特開２００５−１９５５６６号公報
【技術分野】
【０００１】
本発明は、車両のフロントガラスの表面に付着する異物を検出するのに適した撮像方法および撮像ユニットに関する。
【背景技術】
【０００２】
従来、車両のフロントガラスの表面に付着する異物を検出するための画像処理システムとしては、特許文献１乃至４に記載されたものが知られている。
特許文献１には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。発光素子からの光を平行光にしてプリズム本体に入射する。プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、レンズ部からの光を集光して受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。
【０００３】
特許文献２には、Ｐ偏光画像とＳ偏光画像を撮像できる撮像装置を用いて雨滴の有無を判別する雨滴検出装置が開示されている。光源から車両のフロントスクリーンに入射角がブリュースター角になる平行光束を照射し、撮像装置でフロントスクリーンに照射した光束の反射光を受光してＳ偏光画像とＰ偏光画像を撮像し、雨滴検出処理部は撮像したＳ偏光画像とＰ偏光画像の反射率の差からフロントスクリーンに雨滴が付着しているか否を判別し、フロントスクリーンに雨滴が付着している場合の雨滴量を単純な構成で検出する。
特許文献３には、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
特許文献４には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像する画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、特許文献１にあるような、発光素子と受光素子からなる雨滴センサを用いれば、フロントガラス面に付着した雨滴を検出できることが知られている。
しかしながら、フロントガラス面に密着配置する必要があり、検出領域が限定されることが課題であった。検出領域を大きくしようとすると、雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。
【０００５】
一方、特許文献２にあるような、撮像レンズと撮像素子からなる撮像装置を用いる方法が開示されている。特許文献２においては、検出領域は特許文献１のような専用センサに比べて、レンズ位置とレンズ画角の調整により検出領域を大きくとれるが、特許文献２では、レンズの焦点をフロントガラス面としているため、車両周辺状況を撮影するには車両周辺監視用の撮像装置を設置する必要があることが記載されている。
特許文献３にあるような、遠近両用の焦点を有するレンズを用いれば、フロントガラス面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難である。なお、発明者らは実験により、このような課題があることを確認した。
【０００６】
また、特許文献３のように、レンズの領域分割により遠近の２焦点を形成することは単レンズであれば可能性があるが、一般に車両に搭載される撮像レンズは４枚〜６枚程度であり、このような複数枚レンズにおいて領域分割することは極めて困難である。
特許文献４によれば、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、雨滴の多少を推定する内容が記載されていない。
本発明は、上記に鑑みてなされたもので、その目的としては、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出することが可能な撮像方法および撮像ユニットを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、請求項１に記載の発明は、フロントガラスに向けて光源から光を照射し、前記光をフロントガラスに入射させ、前記フロントガラスの光入射側と反対側のガラス表面に付着した雨滴に光を入射させ、前記雨滴と空気界面で反射させ、前記フロントガラスから射出した光を、前記フロントガラスに対して前記光源と同じ側に配置した撮像レンズにより集光して撮像素子により撮像する撮像方法において、前記撮像レンズの焦点は、前記フロントガラスの位置よりも遠方に設定し、前記光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像に含まれる前記光に対応するスポット内の画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する検出ステップを行う撮像方法を特徴とする。
【発明の効果】
【０００８】
本発明によれば、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】自動車などの車両に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図。
【図２】図１における撮像ユニットの構成について説明する図。
【図３】撮像装置の構成を示す図。
【図４】光学フィルタのフィルタ領域の分割について説明する図。
【図５】光学フィルタを特性によって分割するために光学フィルタに設けた分光フィルタを示す図。
【図６】センサ基板部の拡大図。
【図７】図２に示す撮像ユニットにより撮影された画像を写真で示す図。
【図８】雨滴の輝点検出を説明する図。
【図９】雨滴検出機能における光源設置角度について説明する図。
【図１０】３つの光源を配置した場合の例を示す図。
【図１１】撮像装置の画角を考慮した設定した光源配置を示す図。
【図１２】折り返しミラーを含む光源配置を示す図。
【図１３】空間的な間欠パターンを照明するためのパターン照明光学系を説明する図。
【図１４】雨滴検出における外乱光成分の処理について説明する図。
【図１５】赤外光カットフィルタの特性を示す図。
【図１６】撮像画像から雨滴特性を算出する方法について説明する図。
【図１７】雨滴特性の算出について説明するフローチャート。
【図１８】第２実施形態に係る撮像ユニットによる雨滴特性の算出について説明するためのフローチャート。
【図１９】予め把握している照明領域を示す図。
【図２０】検出領域の細分化について説明するための図。
【図２１】第３実施形態に係る撮像ユニットによる雨滴特性の算出について説明するためのフローチャート。
【図２２】照明領域内の雨滴スポット分布を示す図。
【図２３】雨滴数量と分散値の関係をグラフで示す図および分散値と全領域輝度平均値の関係をグラフで示す図。
【図２４】雨滴数量と全照明領域輝度平均値の関係をグラフで示す図。
【図２５】分光フィルタ層の特性をグラフで示す図。
【図２６】フィルタ透過率と波長の関係を示す図。
【図２７】光学フィルタと画素センサの画素の配置を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。
＜第１実施形態＞
本発明の第１実施形態に係る画像処理システムについて説明する。
図１は、自動車などの車両１００に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット１０１と画像解析ユニット１０２とを有している。
【００１１】
撮像ユニット１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー位置に設置されている。撮像ユニット１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から出力された画像信号を解析する。
具体例としては、画像解析ユニット１０２は、車両１００の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット１０３は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した距離値から、ヘッドライト１０４を制御する制御信号を生成する。ヘッドライト制御ユニット１０３が生成した制御信号は、ヘッドライト１０４に送られる。ヘッドライト制御ユニット１０３は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト１０４のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。
【００１２】
また、画像解析ユニット１０２は、車両のフロントガラス１０５に付着した異物を検出する。
ワイパー制御ユニット１０６は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した異物や雨量などから、ワイパー１０７を制御する制御信号を生成する。
ワイパー制御ユニット１０６が生成した制御信号は、ワイパー１０７に送られる。ワイパー制御ユニット１０６は、ドライバの視界を確保するべく、ワイパー１０７を稼動させる。
【００１３】
また、画像解析ユニット１０２は、車両が進行する道路の路面領域や白線を検出する。
画像解析ユニット１０２は、車両１００が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット１０８は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット１０８は、ハンドルやブレーキの制御をも行うことも出来る。
【００１４】
図２は、図１における撮像ユニット１０１の構成について説明する図である。
撮像ユニット１０１は、図２（ａ）に示すように、撮像装置２０１、光源２０２を備えている。
また、撮像ユニット１０１は、車両１００の室内側に、フロントガラス１０５に対向するように設置されている。
また、撮像装置２０１は、図２（ｂ）に示すように、撮像レンズ２０４、光学フィルタ２０５および撮像素子２０６を備えている。
【００１５】
図２（ａ）に示す光源２０２は、フロントガラス１０５に向けて発光するように配置され、フロントガラス１０５を照射する。
光源２０２は、図２（ａ）に示すように、フロントガラス１０５面の異物や雨滴を検出するために設置されている。フロントガラス１０５の外側に雨滴２０３が付着している場合、光源２０２が発した光は、雨滴と空気の界面で反射し、その光は撮像装置２０１に入射する。
なお、撮像ユニット１０１は、図２（ａ）に示すように、撮像装置２０１、光源２０２をケース２０７によって覆っている。このように撮像ユニット１０１を囲んでしまうと、フロントガラス１０５の他の部分で曇りが発生しても撮像装置２０１付近のフロントガラス１０５では、曇りの発生が妨げられ、撮像装置２０１は誤認識することなく動作することが可能である。一方で、撮像装置２０１を用いて曇りを検出して、エアコンの制御などを行いたい場合は、フロントガラス１０５と同一環境となるようにケース２０７の一部に空気の流れる通路を設けてやればよい。
【００１６】
図３は、撮像装置２０１の構成を示す図である。
図３に示す撮像装置２０１は、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６を含むセンサ基板６０１、信号処理部６０２を備えている。
被検物からの光は撮像レンズ２０４を通り、光学フィルタ２０５を透過して撮像素子２０６で電気信号に変換される。
信号処理部６０２では、撮像素子２０６から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置２０１は、画像データとして、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ２０４の焦点位置は、無限遠或いは、無限遠とフロントガラス１０５との間に設定している。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
【００１７】
ところで、上述した無限遠またはフロントガラス１０５より遠方に焦点を合わせるレンズ構成に加え、光学フィルタ２０５を、その撮像素子側に設けた分光フィルタによって光学特性の異なる領域に分割し、分光フィルタを設けた領域に雨滴検出機能を、分光フィルタを設けない領域に配光制御等その他の機能に用いる他の検出機能（車両周辺情報検出機能）を割り当てることにより、撮像ユニット１０１を複数機能に兼用することが出来る。
下記に説明する本実施形態では、フロントガラス１０５面の異物や雨滴を検出する画像領域（雨滴検出領域）と、先行車や対向車或いは路面や白線を検出する画像領域（車両周辺情報検出領域）とを両立するものである。両立に対しては、部分的に上記分光フィルタが形成されたものを用いればよい。
【００１８】
図４は、光学フィルタの分割について説明する図であり、（ａ）は、領域によって光学特性を異ならせた光学フィルタの例を示す図であり、（ｂ）は、かかる撮像装置を用いて撮影した車両と雨滴の画像の例を示す図である。
例えば、図４（ａ）に示すように光学フィルタ２０５を分割し、画面の中央部１／２の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域５２とし、画面下部および上部の１／４領域ずつを、雨滴検知を行うように、後述する理由によって赤外光のみを透過させて画像処理を行うための雨滴検出領域５１とする。
図４（ｂ）は、車両と雨滴の撮影画像の一例を示しており、画面下方の雨滴検出領域５１内にボンネットのある部分３１を破線で示しており、雨滴２０３が映っている。また、画面中央の領域５２内に、路面３２、先行車３３が映っている。
【００１９】
図５は、光学フィルタを特性によって分割するために光学フィルタに設けた分光フィルタを説明する図である。
本実施形態では、図５に示すように、光学フィルタ２０５の両面（撮像レンズ側２０５ａ、撮像素子側２０５ｂ）に分光フィルタ層２０５Ａ、２０５Ｂが形成されている。
そして、分光フィルタ２０５Ｂは、上述した雨滴検出領域５１に対応した箇所に設けられている。また、分光フィルタ２０５Ａが設けられていない箇所が、車両周辺情報検出領域５２に対応している。
【００２０】
各フィルタ層の特性については、下記に詳述する。
雨滴検出領域５１を画面上下部に設け、車両周辺情報検出領域５２を中央部に設けた理由としては、雨滴検出以外の検出機能については、被写体は、主として画面中央部に写ることが多いことがあげられる。
例えば、配光制御では、画面中央部に対向車のヘッドライト及び先行車のテールランプ、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、雨滴検知機能と、その他検出機能を両立させる場合には、画面上部ならびに下部を雨滴検出フィルタ用の赤外光透過フィルタ領域（雨滴検出領域５１）とする図４（ａ）の構成が好適である。
【００２１】
また、通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールランプなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、図４（ａ）に示すような分光フィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域（雨滴検出領域５１）に割り当てることができる。
もちろん、雨滴検出のみを行う場合は、光学フィルタ２０５の撮像素子側２０５ｂの全面に雨滴検出フィルタ（分光フィルタ２０５Ｂ）を形成してもよい。
なお、撮像レンズ２０４の特性により、撮像対象となる実際の光景と撮像素子３０に集光された映像とでは天地が逆になる。そこで、画面下部を雨滴検知用の赤外光透過領域とするためには、光学フィルタ２０５の天側に分光フィルタ２０５Ｂを設けて赤外透過フィルタ領域（雨滴検出領域）５１とする。
【００２２】
次いで、光学フィルタと撮像素子の接合について説明する。
図６は、センサ基板部の拡大図である。
撮像素子２０６は、ＣＣＤやＣＭＯＳなどを受光素子であり、画素ごとにフォトダイオード２０６ｂが２次元画像を構成するべくアレイ配置されたものである。
フォトダイオード２０６ｂの表面にはマイクロレンズ２０６ａが形成されておりフォトダイオード２０６ｂとしての集光効率を上げている。このような撮像素子２０６は、ワイヤボンディングなどの手法によりＰＷＢ基板２０７に接合されてなり、信号処理部６０２に情報を伝達されている。そしてこのようなセンサ基板２０７の前段に光学フィルタ２０５が配置されている。撮像素子のマイクロレンズ側の面には光学フィルタ２０５が近接配置される。
光学フィルタ２０５と撮像素子２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。
光学フィルタ２０５と撮像素子２０６を密着接合することにより、雨滴検出領域５１（図４）、と車両周辺情報を検出するエリア５２（車両周辺情報検出領域）との境界が明確になり、雨滴有無の判別精度が上げられる。
【００２３】
また、図４に示すような画面上部と下部に雨滴検出領域５１を設けたパターンが望ましい。画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域５１を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することは難しく、光学フィルタ２０５の厚みの分だけ傾いてしまう。傾いて接着してしまうと画面上部と画面下部で光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子２０６を平行に接着することが可能である。
画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域５１は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。
【００２４】
図７は、図２に示す撮像ユニット１０１により撮影された画像を写真で示す図である。
なお、図７に示す写真は、図４の雨滴検出領域５１における画像である。
雨滴の撮像状態の一例としては、図７（ａ）に示すように、各雨滴の輝点が見える。ピントを無限遠に合わせていることにより、ボケた像となる。
図７（ｂ）は、フロントガラス面にピントを合わせた場合の撮像状態を示しており、背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。
映りこむ背景画像は、走行シーンによって変化してしまい、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化に対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図７（ａ）に示すような多少ボケが発生した場合は、背景の外乱光による変化を大幅に低減できる。多少のボケを発生させることで、画像認識の際に用いられる参照形状、例えば、円形としての認識率が高くなり、雨滴検出性能が向上する。
【００２５】
上述した輝点の検出に関について説明する。
図８は、雨滴の輝点検出を説明する図である。
図８に示すように、光源２０２から射出された光線Ａ−１は、フロントガラス１０５面（光源２０２側の面）で屈折してフロントガラス１０５内に入射し、もう一方のフロントガラス１０５面から、付着した雨滴２０３に入射する。
この場合、雨滴２０３と空気の界面にて広範囲の角度に反射光が生じるが、撮像装置２０１の画角に対応した入射光線Ｃ−２と、フロントガラス１０５面での屈折角が一致する光線Ｃ−１の成分のみが撮像できることになる。
この光線は、上記雨滴２０３と空気の界面全体のうち、極めて小さい面積からの反射光であり、結果、輝“点”として撮像される。
【００２６】
図９は、雨滴検出機能における光源設置角度について説明する図である。
図９（ａ）は、光源２０２、フロントガラス１０５、撮像装置２０１の配置について説明するための図である。
撮像装置２０１が水平に配置されており、フロントガラス１０５の法線１０５ａに対する仰角をθａとする。
これに対して、光源２０２はフロントガラス１０５の法線１０５ａに対して仰角θで配置され、光源２０２からの出射光がフロントガラス１０５に入射する。
仰角θは、下記のような範囲で設定される。
θａ−５０ｄｅｇ＜θ＜θａ＋２０ｄｅｇ
【００２７】
また、図９（ｂ）は、光源の角度と撮像光量の関係について説明するための図である。
図９（ｂ）に示すように、撮像光量は、光源２０２の仰角がθ付近、もしくは僅かにθより低い値にて極大値をとり、上記の範囲で撮像光量を得ることが可能な特性となる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が６０ｄｅｇ以上の場合に有効な数値範囲である。
この範囲での設置により、光源２０２から射出され、フロントガラス１０５表面に付着した雨滴からの反射光を、図７（ａ）に示すような輝点として撮像することができる。
【００２８】
次いで、水平方向の光源設置角度について説明する。
図１０は、３つの光源を配置した場合の例を示す図であり、（ａ）は３個の光源２０２−Ｒ、２０２−Ｃ、２０２−Ｌを配置した例を示す側面図、（ｂ）はその上面図であり、撮像装置の水平方向の画角を考慮した光源配置設定を示している。また、図１０（ｃ）は光源の仰角と雨滴反射光の撮像光量をグラフで示す図である。
図１１は、撮像装置の画角を考慮した設定した光源配置を示す図である。
図１０（ａ）に示す側面図において、雨滴２０３に対して光源２０２−Ｒからの射出光で照明し、撮像装置で撮像する、このとき、雨滴２０３の領域における撮像画角θｕに対し、光源２０２−Ｒの射出角（ガラス入射角）θＬＳは、以下の範囲で設定する。
θｕ−２０≦θＬＳ≦θｕ＋２０ｄｅｇ
これにより、雨滴と空気の界面からの反射光を高効率で検出、撮像することができる。
【００２９】
また、図１０（ｃ）に示すように、フロントガラス１０５の法線１０５ａに対する光源の仰角θＬＳが上記撮像画角Ｑｕと一致若しくはその近傍となる場合に、雨滴反射光の撮像光量の値が極大となる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が６０ｄｅｇ以上の場合に有効な数値範囲である。
図１０（ａ）に示す複数個配置された光源については、上記関係を満たせば、図１１に示すように、互いの光線が交差するような角度配置としてもよい。
【００３０】
図１２は折り返しミラーを含む光源配置を示す図である。
光源２０２−Ｌ、Ｃ、Ｒの照射方向については、これまで示したガラス面に対向するものばかりでなく、図１２に示すように、折り返しミラー２０８を含めた、逆方向の配置としてもよい。
ミラー２０８を含めることで、光源配置の自由度の向上及び、小型化に寄与できる。
【００３１】
次いで、光源について説明する。
光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いればよい。
射出光束の形態としては、略平行光であることが望ましい。光源２０２の、光路上の直後に配置されたコリメートレンズ等により、平行光を形成して射出できる。光源２０２は、上述したように光束の形態を調整可能なレンズ等の構成要素を含んだものである。
【００３２】
また、光源２０２の発光波長としては、可視光や赤外光を用いればよい。特に夜間などに、対向車や歩行者を眩惑させないためには、可視光より波長が長く、撮像素子２０６の受光感度がおよぶ範囲の波長（例えば８００〜１０００ｎｍの中の波長）を選べばよい。特に、直射日光などの外界からの光の影響を低減するためには、波長９４０ｎｍ付近を選択することが有効である。
また、本実施形態では、後述するフィルタとの波長範囲を整合する必要がある。
フィルタ構成として、波長λ１〜λ２、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光のみを透過する分光フィルタ層Ａと、光学フィルタ２０５を構成する基板の撮像素子２０６側の面にある有効撮像領域の一部エリアに、波長λ３〜λ５（λ３＜λ５）の範囲の波長成分のみを透過する領域分割型分光フィルタ層Ｂを有した場合に、発振波長範囲は、λ３〜λ４、もしくはλ３〜λ５、いずれか幅が狭い方に包含されている必要がある。
ここで述べた発振波長範囲とは、強度スペクトルの半値全幅、もしくは半値以下のしきい値における全幅であることが望ましい。
【００３３】
次いで、パターン照明とその光源配置について説明する。
図８に示す光源２０２について、コリメートレンズ等により平行光を形成し射出する手段について述べたが、ウィンドウガラス（フロントガラス）１０５への照明としては、ほぼ一様な強度で照明する手段のほかに、照明の有無を領域によって変調する方法がある。
上記において図７について説明したように、雨滴の反射光は、ボケた像として撮像されるため、雨滴の密度によっては、隣接した雨滴の像が重畳されたものが撮像され、個々の雨滴の光スポットを分離することが困難になる。
この課題を解決するためには、空間的な間欠パターンを照明し、個々の雨滴を撮像することで、重畳の影響を低減すればよい。
【００３４】
図１３は、空間的なパターンを照明するためのパターン照明光学系を説明する図であり、（ａ）はその構成を示す図、（ｂ）は照射パターンの一例を示す図である。
パターン照明を行う構成としては、以下の図１３（ａ）ものがある。発光体（光源）２１ａ、ｂと２個を近接して配置し、それらをコリメートレンズ２２にて平行光とし、シリンドリカルレンズアレイ２３に入射する。
発光体、コリメートレンズ、シリンドリカルレンズは、シリンドリカルレンズアレイ２３から射出した光がウィンドウガラス１０５上で略集光するように部品配置される。
このとき、各発光体から射出されコリメートレンズ２２で平行光として射出される光は、その光源の位置のずれから、互いに射出方向が僅かに異なり、それらがシリンドリカルレンズアレイ２３を経てウィンドウ上で集光される際、互いにパターン位置がずれるよう設計される。
【００３５】
例えば、図１３（ｂ）に示すように、横方向の線上のパターンにおいて、互いに明、暗の位置が反転しているものとなる。重畳すると右図のように空間的に一様パターンとなる。ここで、図１３（ｂ）には、発光体２１ａの照明パターン２５ａ、発光体２１ｂの照明パターン２５ｂ、重畳した照明パターン２６を示す。
発光体２１ａ、ｂは、発光タイミングをずらして交互点灯し、それと同期した像を撮像することにより、個別の雨滴検出画像を撮像できる。
ここでは、シリンドリカルレンズ２３を用いた、一方向のみの空間変調パターンを用いた例を示したが、２次元パターン、例えば照明パターンが千鳥格子となるものなどでもよい。この場合は、先のシリンドリカルレンズアレイ２３をマイクロレンズアレイに置換し、配置を適宜設計することで実現できる。
また、発光体として、２１ａ、ｂの２個を用いた構成を示したが、発光体としては３個以上の構成としても構わない。
【００３６】
以上の構成により、雨滴の粗密に関わらず、より独立性の高い、個々の雨滴の光スポットを得ることができる。
また、本実施形態の光源照射方法としては、上記の空間変調パターンに限定されるものではなく、ビームプロファイルを変更する光学素子を備えてもよい。ここで、ビームプロファイルとは光源からの光の断面形状であり、ＬＤやＬＥＤでは楕円形状であり、その強度分布としてはガウス分布状のビーム形状などの、光軸上が高強度となる楕円形や円形の強度分布を有する。
【００３７】
このような楕円形状を矩形パターンに変換してもよい、また強度分布をトップハット状の強度分布に変換してもよい。例えばビーム形状としては矩形状のパターンに変換してやれば、光源照射領域の画像の領域分割がし易くなるし、トップハット状の強度分布形状にしてやれば領域分割した各領域の光照射強度を均一化できる。均一な強度分布とすることで、後述の雨滴サイズ、数量の推定計算の高精度化に寄与する。これの形状変化や強度分布変化は、よく知られた回折光学素子を用いることにより実現できる。
【００３８】
次いで、雨滴検出における外乱光成分について説明する。
図１４は、雨滴検出における外乱光成分の処理について説明する図であり、（ａ）は雨滴検出用として用いる分光フィルタ２０５Ｂの一例としてのカットフィルタの特性を示す図であり、（ｂ）は同じく雨滴検出用として用いる分光フィルタ２０５Ｂの一例としてのバンドパスフィルタの特性を示す図である。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源２０２は、例えば屋外における直射日光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
【００３９】
次いで、雨滴検出機能における要求フィルタ特性（赤外光透過フィルタ）について説明する。
例えば、図１４（ａ）に示すように、光源２０２の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは図１４（ｂ）に示すような、透過率のピークを光源２０２の発光波長とほぼ一致させたバンドパスフィルタを、光学フィルタ２０５の撮像素子側２０５ｂに形成してやってもよい。
これにより、必要となる光源２０２の発光波長以外の光を除去し、検出される光源２０２の光量を相対的に大きくできる。
【００４０】
次いで、その他の検出機能における要求フィルタ特性として、赤外光カットフィルタについて説明する。
図１２は赤外光カットフィルタの特性を示す図である。
先に例としてあげた配光制御も含め雨滴検出以外の検出機能に係るフィルタとしては、可視光を透過することに加え、赤外光をカットできることが望ましい。代表的な波長特性を図１２に示す。この図では、可視光領域の例として、４００〜６７０ｎｍを透過し、６７０ｎｍより長い赤外光領域をカットするショートパスフィルタ特性となっている。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。
ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。
本実施形態では、雨滴検出波長を除く赤外光をカットする分光フィルタ２０５Ａを２０５ａ側に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、テールランプの検出精度を向上させることができる。
【００４１】
次いで、光源のフロントガラス表面からの不要反射光に対する対策について説明する。
光源２０２は、フロントガラス１０５表面でその一部は透過するが、残りは反射し外乱光となる。
このような外乱光に対しては、光源のフロントガラス１０５へ向かって射出する光の光軸と、前記撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過する図示しない偏光フィルタを配置している。
図１６は、撮像画像から雨滴特性を算出する方法について説明する図であり、（ａ）〜（ｃ）は雨滴画像の一例を示す図であり、（ｄ）は雨滴サイズと雨量スポット輝度の関係の一例を示す図である。
上記手段により撮像された雨滴画像は、図１６（ａ）に示すように、概ね円形パターンが複数含まれる画像となる。この円形パターンは、個々の雨滴の輝点に対応している。
特に図１６（ｃ）に示す円形のサイズ（図中Ｄはパターンの直径）は、撮像レンズのｆ値及び、ウィンドウ位置から無限遠位置までの何れかの位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
また、上記円形パターンの輝度値については、雨滴サイズとの関連性があり、概ね図１６（ｄ）に示すグラフように、サイズの増大に伴い、輝度値が高まる傾向がある。この雨滴サイズと輝度値の関連性についても、予め実験などにより把握しておく。
【００４２】
図１７は、雨滴特性の算出について説明するフローチャートである。
なお、図１７に示すフローチャートは一様な照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部６０２は、ＲＯＭ、ＲＡＭおよびＣＰＵを有し、ＣＰＵがＲＯＭに記憶されているプログラムを読み出して実行する。
図１７において、ステップＳ５では、信号処理部６０２は、撮像ユニット１０１に雨滴を含む画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ１０では、信号処理部６０２は、上記メモリに記憶した画像に対して、雨滴スポットの画素抽出を行う。
これは、予め把握している照明領域（例として、図１９に示す枠２５０）の内側の画素Ｇに対し、しきい値処理を行い、特定の輝度値であるしきい値Ｇｔｈ以上の複数の画素Ｇについて抽出して、メモリに記憶する。
次いで、ステップＳ１５では、信号処理部６０２は、この抽出された画素をメモリから読み出し、この抽出された特定のしきい値Ｇｔｈ以上の複数の画素Ｇをカウントすることで画素数算出を行い、結果値である画素数Ｎをメモリに記憶する。
次いで、ステップＳ２０では、信号処理部６０２は、画素数算出により求められた画素数Ｎに対し、予め把握してあった基準となる１つの単一円形パターンに含まれる画素数Ｎｃｐにより除算することで、雨滴の数量を示す雨滴数量推定値Ｍを算出する。
【００４３】
一方、ステップＳ３０では、信号処理部６０２は、しきい値Ｇｔｈ以上の複数の画素Ｇをメモリから読み出し、しきい値Ｇｔｈ以上の画素Ｇの輝度値を全て加算して画素数Ｎで減算することで平均値Ｇａｖを算出するとともに、輝度値として頻度の高い値Ｇｆｍａｘを求めることで、スポット輝度代表値算出を行う。なお、ここでは、Ｇｆｍａｘ＝Ｇａｖとし、平均値Ｇａｖをスポット輝度代表値として扱うこととする。
次いで、ステップＳ３５では、信号処理部６０２は、算出されたスポット輝度代表値Ｇｆｍａｘに対して、上記図１６（ｄ）において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００４４】
＜第２実施形態＞
本発明の第２実施形態に係る画像処理システムについて説明する。
図１７に示すフローチャートの場合、「スポット輝度代表値算出」の際に、対象画像が、複数の雨滴によるスポットが互いに重畳された画像である場合、数が多いのか、個々のスポットの輝度が高いのかについての切り分けが難しいため、代表値の算出が困難になる場合もある。
この問題を解決するために、図１８に示すフローチャートの場合、上述した「パターン照明とその光源配置」について説明したパターン照明によって得られた個別の画像を用いることで、個々の雨滴スポットが重なり合う影響を低減することができ、雨滴の数量と、個々のスポットの輝度（サイズ）の個別の推定が容易となる。
次いで、図１８に示すフローチャートを参照して、雨滴特性の算出について説明する。先ず、図１８について説明する。なお、図１８に示すフローチャートはパターンを有する照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部６０２は、ＲＯＭ、ＲＡＭおよびＣＰＵを有し、ＣＰＵがＲＯＭに記憶されているプログラムを読み出して実行する。
【００４５】
まず、ステップＳ１０５では、信号処理部６０２は、撮像ユニット１０１に各照明による複数の画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ１１０では、信号処理部６０２は、上記メモリに記憶した各照明によるそれぞれの画像に対して、雨滴スポットの画素抽出を行う。これは、予め把握している照明領域（例として、図１９に示す枠２５０）の内側の画素Ｇに対し、しきい値処理を行い、特定の輝度値であるしきい値Ｇｔｈ以上の複数の画素Ｇについて抽出して、メモリに記憶する。
次いで、ステップＳ１１５では、信号処理部６０２は、各照明による複数の画像を、各画素の輝度の足し合わせを行うことで重畳し、重畳した結果をメモリに記憶する。
次いで、ステップＳ１２０では、信号処理部６０２は、この重畳された画素をメモリから読み出し、この抽出された特定のしきい値Ｇｔｈ以上の複数の画素Ｇをカウントすることで画素数算出を行い、結果値である画素数Ｎをメモリに記憶する。
次いで、ステップＳ１２５では、信号処理部６０２は、画素数算出により求められた画素数Ｎに対し、予め把握してあった基準となる１つの単一円形パターンに含まれる画素数Ｎｃｐにより除算することで、雨滴の数量を示す雨滴数量推定値Ｍを算出する。
【００４６】
一方、ステップＳ１４０では、信号処理部６０２は、各照明によるそれぞれの画像に対し、しきい値Ｇｔｈ以上の複数の画素Ｇをメモリから読み出し、しきい値Ｇｔｈ以上の画素Ｇの輝度値を全て加算して画素数Ｎで減算することで平均値Ｇａｖを算出するとともに、輝度値として頻度の高い値Ｇｆｍａｘを求めることで、スポット輝度代表値算出を行う。なお、ここでは、Ｇｆｍａｘ＝Ｇａｖとし、平均値Ｇａｖをスポット輝度代表値として扱うこととする。
次いで、ステップＳ１４５では、信号処理部６０２は、算出されたスポット輝度代表値Ｇｆｍａｘに対して、上記図１６（ｄ）において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００４７】
＜第３実施形態＞
本発明の第３実施形態に係る画像処理システムについて説明する。
本実施形態では、撮像画像から雨滴の特性を算出する方法について説明する。なお、図１７、図１８とは別の雨滴特性算出方法について説明するものである。
ここでは、図１９に示す枠２５０で示した照明領域を、複数領域に細分し、それぞれの領域の輝度特性の違いを検出する。
【００４８】
図２０は検出領域の細分化について説明するための図である。
図２０において、枠２５１で示した横９個、縦６個の矩形が細分化領域である。これらの領域設定については、既知の照明領域範囲（枠２５０）のなかで予め行っておく。
図２１は、細分化領域の輝度情報を用いて雨滴特性を算出する方法について説明するフローチャートである。
まず、ステップＳ２０５では、信号処理部６０２は、撮像ユニット１０１に雨滴を含む画像を撮像させ、撮像ユニット１０１から出力される画像データを信号処理部６０２内に設けられたメモリ（図示しない）に記憶する。
次いで、ステップＳ２１０では、信号処理部６０２は、上記メモリに記憶した画像を読み出し、この画像をＭ個の細分化領域に細分化するとともに、それぞれの細分化領域について輝度の平均値Ｇａｖ１〜ＧａｖＭを算出して、メモリに記憶する。これらの平均値は、それぞれの領域での雨滴重複の有無、度合いを反映したものとなる。
次いで、ステップＳ２１５では、信号処理部６０２は、各細分化領域の平均値Ｇａｖ１〜ＧａｖＭについて、分散値を算出して、メモリに記憶する。分散値は、図２２に示すような雨滴分布の疎密を表す指標となる。
【００４９】
図２２は照明領域内の雨滴スポット分布を示す図であり、（ａ）は雨滴数量：少、（ｂ）は雨滴数量：中、（ｃ）は雨滴数量：多をそれぞれ示している。
一方、ステップＳ２１５では、信号処理部６０２は、細分化処理を行う以前の全照明領域についての平均値Ｇａｖを算出して、メモリに記憶する。
図２３（ａ）は雨滴数量と分散値の関係をグラフで示す図であり、図２３（ｂ）は、分散値と全領域輝度平均値の関係をグラフで示す図である。
雨滴数量の変化により、上記分散値は、図２３（ａ）に示すような変化を生じる。雨滴サイズに応じて最大値は異なるが、いずれにおいても雨滴数量が中程度の際に極大値をとる。
【００５０】
また、この分散値と、全照明領域の輝度平均値Ｇａｖとの関係は、図２３（ｂ）に示すようになる。
この図から、上記輝度平均値、分散値を測定、算出することにより、雨滴サイズを推定できる。本実施形態では、図２３（ｂ）の関係についても、前項で示した雨滴スポットのサイズ、及び、雨滴サイズとスポット輝度との関係を用い、予めデータテーブルとして算出しておき、図２１に示すフローチャートのステップにおいて利用する。
そこで、ステップＳ２２５では、メモリから全照明領域の輝度平均値Ｇａｖと分散値を読み出し、図２３（ｂ）に示す上記輝度平均値と分散値および雨滴サイズの関係から、推定した雨滴サイズの情報を読み出す。
【００５１】
雨滴数量の推定については、図２４に示す関係を用いる。
図２４は雨滴数量と全照明領域輝度平均値の関係をグラフで示す図である。
雨滴数量の増加に対し、全照明領域の輝度平均値は、概ね増加する傾向にある。また、雨滴サイズについても、前項で示したように、雨滴サイズが大きいほど、輝度としては高くなる。この関係も予め実験などにより把握しておく。
そこで、ステップＳ２３０では、全照明領域の輝度平均値Ｇａｖと、推定した雨滴サイズの情報と、図２４に示すグラフにおける雨滴数量と全照明領域の輝度平均値Ｇａｖの関係から、雨滴数量を推定できる。
これにより、撮像された雨滴画像は、図１６に示すような概ね円形パターンが複数含まれる画像となる。この円形パターンは個々の雨滴の輝点に対応している。円形のサイズ（図中Ｄはパターンの直径）は撮像レンズのｆ値及び、ウィンドウ位置〜無限遠位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
【００５２】
図２１に示すフローチャートにおいては、ステップＳ２１０で「各細分化領域の平均値」を算出した後、ステップＳ２１５でそれらの「分散の算出」をしたが、本発明はこのような順序に限定されるものではない。すなわち、「各細分化領域内の分散」を算出したのち、それらの「平均値の算出」を行っても、類似の結果を得ることができる。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
【００５３】
次いで、図５に示した分光フィルタの構成について説明する。
先の撮像ユニット構成の項で述べた要求フィルタ特性を考慮した実施例を示す。
図２５は、分光フィルタ層の特性をグラフで示す図であり、（ａ）は分光フィルタ層２０５Ａ（実施例Ａ−１）、（ｂ）は分光フィルタ層２０５Ｂ（実施例Ｂ−１）、（ｃ）は（実施例Ａ−１、Ｂ−１）の重畳フィルタ特性を示す図である。
【００５４】
＜実施例Ａ−１＞
フィルタ特性の組み合わせについて説明するための実施例Ａ−１である。
光学フィルタ２０５の撮像レンズ２０４側の面２０５ａには分光フィルタ層２０５Ａが形成されている。分光フィルタ層２０５Ａの特性の実施例Ａ−１は、図２５（ａ）のように波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光帯域と、波長範囲９２０〜９６０ｎｍの光源波長帯域を透過する。ここでは、雨滴検出用の光源の中心波長は９４０ｎｍ、半値全幅は１０ｎｍのものを用いる前提である。
ここで、λ１〜λ４の対応は以下となる。
λ１：４００ｎｍ（イメージセンサ感度の短波長側の限界値）
λ２：６７０ｎｍ
λ３：９２０ｎｍ
λ４：９６０ｎｍ
雨滴検出機能には、光源波長帯域の透過を利用する。
その他の検出機能には、可視光帯域の透過を利用する。また、波長７００〜９２０ｎｍ範囲の光は透過しない、若しくは、透過率５％以下が望ましい。この波長の透過を抑制する理由としては、先の要求フィルタ特性として述べたとおり、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。
そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。この観点からは、先の光源波長帯域の９２０〜９６０ｎｍ範囲も透過しないことが望ましいが、可視光帯域に比較して帯域が狭小であること、かつＣＭＯＳをはじめとする可視光用イメージセンサにおいて相対的に低感度であることから、光量が十分に小さく、影響は無視できる。
【００５５】
＜実施例Ｂ−１＞
また、光学フィルタ２０５の撮像素子２０６側の面２０５ｂにおける、雨滴検出機能の領域には分光フィルタ層２０５Ｂが形成されている。
分光フィルタ層２０５Ｂの特性の実施例Ｂ−１を図２５（ｂ）に示す。
図２５（ｂ）に示すように、波長範囲８８０〜１１００ｎｍの赤外光領域を透過帯としており、撮像レンズ２０４側の面２０５ａの分光フィルタ層２０５Ａとの組合せにより、波長範囲９２０〜９６０ｎｍの範囲の光のみを透過することとなる。この波長範囲の中心値と光源２０２の発光波長を略同等しておくのが望ましい。
ここで、λ５、λ６の対応は以下となる。
λ５：８８０ｎｍ
λ６：１１００ｎｍ（イメージセンサ感度の長波長側の限界値）
これらフィルタＡ−１、Ｂ−１の配置により、雨滴検出機能の領域のフィルタ特性は、図２５（ｃ）におけるハッチング領域、即ち９２０〜９６０ｎｍの範囲のみを透過するものとなる。
上述したとおり、雨滴検出用の光源として中心波長は９４０ｎｍ、半値全幅１０ｎｍのものを用いているので、上記のハッチングされた９２０〜９６０ｎｍの帯域を雨滴検出の光源からの射出光は透過できる。
また、この雨滴検出機能のフィルタ領域では、直射日光などの外乱光成分についてもこの９２０〜９６０ｎｍの帯域を透過する僅かな成分しかセンサに入射しないことから、外乱光を大幅に低減することができ、雨滴検出の精度向上につながる。
【００５６】
＜実施例Ｂ−２＞
次いで、フィルタ特性の組み合わせの実施例Ｂ−２について説明する。
なお、上記分光フィルタＢに関して、実施例Ｂ−１に代えて、図２６に示す実施例Ｂ−２を用いることもできる。
図２６はフィルタ透過率と波長の関係を示す図である。
図２６では波長範囲９２５〜９６５ｎｍの赤外光領域を透過帯としており、２０５ａ側の面の分光フィルタ層Ａとの組合せにより、概ね上記の波長範囲９２５〜９６０ｎｍの範囲の光のみを透過することとなる。
ここで、λ５、λ６の対応は以下となる。
λ５：９２５ｎｍ
λ６：９６５ｎｍ
次いで、図２６に示す分光フィルタ層Ｂの実施例Ｂ−２について説明する。
この特性により、先の実施例Ａ−１、Ｂ−１の組み合わせの場合よりも更に透過帯域が狭まり、直射日光などの外乱光成分を更に低減することができる。勿論、上記の雨滴検出の光源からの射出光は透過できる。
本実施形態では分光フィルタ２０５Ａ、２０５Ｂの組み合わせによる効果を示しているが、若干の効果の低下を許容すれば、分光フィルタ２０５Ａ、分光フィルタ２０５Ｂのフィルタ単体の利用においても有効である。
上記特性の設計に際しては、レンズからフィルタに入射する際の光束角度を考慮に入れ、それらの光束に合わせて検討が行われる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタを分光フィルタ層Ｂと光学フィルタの基板の間に形成してもよい。
【００５７】
次いで、フィルタ部の構成として領域分割パターンを用いた場合について説明する。
図２７は光学フィルタと画素センサの画素の配置を示す図である。
光学フィルタ２０５の撮像素子２０６側の面には、領域分割されたパターンが形成されてなり、例えば図２７に示すようにフォトダイオード１個ごと、すなわち１画素Ｇごとに応じた市松状のパターンを撮像素子の画素に一致するように配置されている。
光学フィルタ２０５と撮像素子２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を撮像素子２０６に密着させる構成とした方が、光学フィルタ２０５上の領域の境界と、撮像素子２０６上の領域の境界を一致させ易くなる。
なお、ここでは、撮像素子としてはモノクロ画像用撮像素子を前提にして説明する。また、カラー用撮像素子を用いてもよく、カラー用撮像素子を用いる場合は、撮像素子の各画素に付属するカラーフィルタの特性に応じて光学フィルタの各パターンの透過特性を調整すればよい。
これらの画素単位の異なる情報から、後述する各種画像が形成される。このような画像形成はカメラ内部の信号処理部６０２で行われる。
【００５８】
＜実施例Ｃ＞
次いで、フィルタ領域分割パターンの実施例Ｃについて説明する。
フィルタ領域分割パターンとしては、画素サイズ相当の領域分割であるものに限られず、図４および図５に示すような画面全体のうちの上部１／４、下部１／４の２領域に形成したものであってもよい。
【符号の説明】
【００５９】
１０１ 撮像ユニット、１０２ 画像解析ユニット、１０５ フロントガラス、２０１ 撮像装置、２０２、２０２’ 光源、２０４ 撮像レンズ、２０５ 光学フィルタ、２０６ 撮像素子、２０７ センサ基板、６０２ 信号処理部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特許第３５３６７３８号
【特許文献２】特開２０１０−２０４０５９号公報
【特許文献３】特開２００５−２２５２５０号公報
【特許文献４】特開２００５−１９５５６６号公報
【特許請求の範囲】
【請求項１】
フロントガラスに向けて光源から光を照射し、前記光をフロントガラスに入射させ、前記フロントガラスの光入射側と反対側のガラス表面に付着した雨滴に光を入射させ、前記雨滴と空気界面で反射させ、前記フロントガラスから射出した反射光を、前記フロントガラスに対して前記光源と同じ側に配置した撮像レンズにより集光して撮像素子により撮像する撮像方法において、
前記撮像レンズの焦点は、前記フロントガラスの位置よりも遠方に設定し、
前記光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像に含まれる前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する検出ステップを行うことを特徴とする撮像方法。
【請求項２】
前記検出ステップは、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする請求項１記載の撮像方法。
【請求項３】
前記検出ステップは、各領域画像における前記スポットの個数または、各スポットにおける輝度の代表値を求めることにより前記雨滴付着状態を検出することを特徴とする請求項１記載の撮像方法。
【請求項４】
フロントガラスに向けて光を照射する光源と、
前記フロントガラスに対して前記光源と同じ側に設けられ、前記フロントガラスの前記光源とは反対側の面に付着した雨滴によって前記光源からの光が反射された反射光を撮像する撮像装置と、を備え、
前記撮像装置は、
焦点を前記フロントガラスの位置よりも遠方に設定された撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子との間に設けた、前記反射光を選択的に透過する光学フィルタと、を備え、
前記光源からの光を照射した前記フロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像における前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する雨滴付着状態検出手段を備えることを特徴とする撮像ユニット。
【請求項５】
前記雨滴付着状態検出手段は、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする請求項４記載の撮像ユニット。
【請求項６】
前記雨滴付着状態検出手段は、各領域画像における前記スポットの個数または、各スポットにおける輝度の代表値を求めることにより前記雨滴付着状態を検出することを特徴とする請求項４記載の撮像ユニット。
【請求項７】
前記光源からの光を、所定のビームプロファイルに変換する光学素子を備えることを特徴とする請求項４または５記載の撮像ユニット。
【請求項８】
前記光源は、前記フロントガラスへの照射光分布が明暗分布の異なる、少なくとも２個以上の照明光学系により構成されることを特徴とする請求項４または６記載の撮像ユニット。
【請求項１】
フロントガラスに向けて光源から光を照射し、前記光をフロントガラスに入射させ、前記フロントガラスの光入射側と反対側のガラス表面に付着した雨滴に光を入射させ、前記雨滴と空気界面で反射させ、前記フロントガラスから射出した反射光を、前記フロントガラスに対して前記光源と同じ側に配置した撮像レンズにより集光して撮像素子により撮像する撮像方法において、
前記撮像レンズの焦点は、前記フロントガラスの位置よりも遠方に設定し、
前記光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像に含まれる前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する検出ステップを行うことを特徴とする撮像方法。
【請求項２】
前記検出ステップは、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする請求項１記載の撮像方法。
【請求項３】
前記検出ステップは、各領域画像における前記スポットの個数または、各スポットにおける輝度の代表値を求めることにより前記雨滴付着状態を検出することを特徴とする請求項１記載の撮像方法。
【請求項４】
フロントガラスに向けて光を照射する光源と、
前記フロントガラスに対して前記光源と同じ側に設けられ、前記フロントガラスの前記光源とは反対側の面に付着した雨滴によって前記光源からの光が反射された反射光を撮像する撮像装置と、を備え、
前記撮像装置は、
焦点を前記フロントガラスの位置よりも遠方に設定された撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子との間に設けた、前記反射光を選択的に透過する光学フィルタと、を備え、
前記光源からの光を照射した前記フロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像における前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する雨滴付着状態検出手段を備えることを特徴とする撮像ユニット。
【請求項５】
前記雨滴付着状態検出手段は、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする請求項４記載の撮像ユニット。
【請求項６】
前記雨滴付着状態検出手段は、各領域画像における前記スポットの個数または、各スポットにおける輝度の代表値を求めることにより前記雨滴付着状態を検出することを特徴とする請求項４記載の撮像ユニット。
【請求項７】
前記光源からの光を、所定のビームプロファイルに変換する光学素子を備えることを特徴とする請求項４または５記載の撮像ユニット。
【請求項８】
前記光源は、前記フロントガラスへの照射光分布が明暗分布の異なる、少なくとも２個以上の照明光学系により構成されることを特徴とする請求項４または６記載の撮像ユニット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−１０４６９３（Ｐ２０１３−１０４６９３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４６８５１（Ｐ２０１１−２４６８５１）
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]