画像処理システム
【課題】フロントガラス面の異物を検出するとともに、雨滴の付着度合を容易に検出する。
【解決手段】フロントガラスに向けて光を照射する光源と、前記フロントガラスに対して前記光源と同じ側に、焦点が前記フロントガラスの位置よりも遠方に設定され撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタを備え、前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部とを備える。
【解決手段】フロントガラスに向けて光を照射する光源と、前記フロントガラスに対して前記光源と同じ側に、焦点が前記フロントガラスの位置よりも遠方に設定され撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタを備え、前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のフロントガラスの表面に付着する異物を検出するのに適した画像処理システムに関する。
【背景技術】
【0002】
従来、車両のフロントガラスの表面に付着する異物を検出するための画像処理システムとしては、特許文献1〜4に記載されたものが知られている。
特許文献1には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。
この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。
発光素子からの光を平行光にしてプリズム本体に入射させ、プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、光路上に配置されたレンズ部によって集光されて受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。
【0003】
特許文献2には、P偏光画像とS偏光画像を撮像できる撮像装置を用いて雨滴の有無を判別する雨滴検出装置が開示されている。
この装置では、光源から車両のフロントスクリーンに入射角がブリュースター角になる平行光束を照射し、撮像装置でフロントスクリーンに照射した光束の反射光を受光してS偏光画像とP偏光画像を撮像し、雨滴検出処理部は撮像したS偏光画像とP偏光画像の反射率の差からフロントスクリーンに雨滴が付着しているか否を判別し、フロントスクリーンに雨滴が付着している場合の雨滴量を単純な構成で検出している。
また、特許文献3には、車両に付着した雨滴を撮像するための近距離用の第1の焦点距離と、車両の周辺を撮像するための遠距離用の第2の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
また、特許文献4には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像することを特徴とする画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、特許文献1に記載されたる発光素子と受光素子からなる雨滴センサを用いれば、フロントガラス105面に付着した雨滴を検出できることが知られている。
しかしながら、特許文献1の雨滴センサはフロントガラス105面に密着配置する必要があり、検出領域が限定されるという問題がある。
検出領域を大きくしようとすると雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス105面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。
【0005】
一方、特許文献2に記載されるような、撮像レンズと撮像素子からなる撮像装置を用いる方法が開示されている。
特許文献2においては、特許文献1の専用センサに比べて、レンズ位置とレンズ画角の調整により検出領域を大きくとれるが、レンズの焦点をフロントガラス105面としているため、車両周辺状況を撮影するには車両周辺監視用の撮像装置を設置する必要があることが記載されている。
また、特許文献3に記載される遠近両用の焦点を有するレンズを用いれば、フロントガラス105面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス105面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難であることが、本発明者らによる実験により確認されている。
また、特許文献3のように、レンズの領域分割により遠近の2焦点を形成することは単レンズであれば可能性があるが、一般に車両に搭載される撮像レンズは4枚〜6枚程度であり、このような複数枚レンズにおいて領域分割することは極めて困難である。
【0006】
さらに特許文献4には、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、上記のような背景コントラストや輝点の変化については記載されていない。
また、特許文献4には、特定波長の光を発光させるとともに、撮像装置の内部に発光波長に対応した波長フィルタを設置することで信頼性を上げることが記載されてない。
また、光源は温度など環境変化によって出力レベルが変動するが、その対処方法には言及されていない。
さらに、従来のアルゴリズム処理によれば、雨滴検出に関わる処理負担が高かった。
本発明は、上記に鑑みてなされたもので、フロントガラス105面の異物を検出するとともに、雨滴の付着度合を容易に検出することが可能な画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1に係る発明は、フロントガラスに向けて光を照射する光源と、前記フロントガラスに対して前記光源と同じ側に、焦点が前記フロントガラスの位置よりも遠方に設定され撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタを備え、前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部とを備えることを特徴とする画像処理システムである。
【発明の効果】
【0008】
本発明によれば、撮像素子の各フレーム間で光源に対する変調度を変化するように制御し、フロントガラス面での光源からの照射光量の変化に応じて、撮像装置により撮像された画像からフロントガラス面に付着した雨滴の付着度合いを検出することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1実施形態に係る画像処理システムの構成を示す図。
【図2】図1に示す撮像ユニットの構成を説明する図。
【図3】図2に示す撮像装置により撮影された画像を示す図。
【図4】図2に示す光学フィルタの領域によって光学特性を異ならせたことを示す図。
【図5】図2に示すセンサ基板部の拡大図。
【図6】図2に示す光学フィルタの断面構成、分光フィルタ層Aの透過率特性、分光フィルタ層Bの透過率特性を示す図。
【図7】ワイヤグリッドの断面構造を写真で示す図。
【図8】本発明の第1実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図9】本発明の第1実施形態に係る画像処理システムにおける、照射光量と雨滴検出領域輝度値の関係を説明するための図。
【図10】本発明の第1実施形態に係る画像処理システムにおける、光源発光の変調方法について説明するためのタイミングチャート。
【図11】本発明の第1実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。
【図12】本発明の第1実施形態に係る画像処理システムにおける、雨滴が付着している場合、雨滴が付着していない場合の実験結果を写真で示す図。
【図13】本発明の第2実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図14】本発明の第3実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図15】光学フィルタの領域分割パターンと検出項目の関係を説明するための図。
【図16】本発明の第3実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態について詳細に説明する。
<第1実施形態>
本発明の第1実施形態に係る画像処理システムについて説明する。
図1は、自動車などの車両100に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット101と画像解析ユニット102とを有している。
撮像ユニット101は、車両100が走行する前方の画像を撮像できるように、座席のルームミラー位置に設置されている。撮像ユニット101で撮像された車両前方の画像は、画像信号化されて画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から出力された画像信号を解析する。
具体例としては、画像解析ユニット102は、車両100の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット103は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した距離値から、ヘッドライト104を制御する制御信号を生成する。ヘッドライト制御ユニット103が生成した制御信号は、ヘッドライト104に送られる。ヘッドライト制御ユニット103は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト104のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。
【0011】
また、画像解析ユニット102は、車両のフロントガラス105に付着した異物を検出する。
ワイパー制御ユニット106は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した異物や雨量などから、ワイパー107を制御する制御信号を生成する。
ワイパー制御ユニット106が生成した制御信号は、ワイパー107に送られる。ワイパー制御ユニット106は、ドライバの視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102は、車両が進行する道路の路面領域や白線を検出する。
画像解析ユニット102は、車両100が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット108は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット108は、ハンドルやブレーキの制御をも行う。
【0012】
図2は、図1における撮像ユニット101の構成について説明する図である。
撮像ユニット101には、撮像装置201、光源202,202’、光源制御部209が備えられている。
撮像装置201は、撮像レンズ204、光学フィルタ205、撮像素子206を含むセンサ基板207、信号処理部208、を備えている。
また、撮像装置201の近傍には光源202、202’が配置されている。
これらの光源は、これらの光源が照射する光の光軸202b、202’bの方向と撮像レンズの光軸204bの方向が略平行であるとともに、撮像レンズ204の画角範囲204aと光源202、202’の照射領域202a、202’aがフロントガラス105面で重なるように配置されている。
被検物からの光は撮像レンズ204を通り、光学フィルタ205を透過して撮像素子206で電気信号に変換される。ここでの被検物としては車両前方の風景、およびフロントガラス105面に付着した雨滴などの異物である。
【0013】
信号処理部208は、撮像素子206から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置201は、画像データとして、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ204の焦点位置は、無限遠或いは、無限遠とフロントガラス105の間としている。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
光源制御部209は、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御する。
具体的には、光源制御部209は、光源202の発光パワーレベルを変化させることにより、フロントガラス105面での照射光量を変化させる。
あるいは、光源制御部209は、光源202の発光時間の長さを変化させることにより、フロントガラス105面での照射光量を変化させる。
図1に示す画像解析ユニット102は、フロントガラス105面での光源202からの照射光量の変化に応じて、フロントガラス105面に付着した雨滴の付着度合いを検出する。
【0014】
図3は撮像装置により撮影された画像を示す図であり、(a)はピントを無限遠に合わせた場合、図3(b)はフロントガラス105面にピントを合わせた場合の画像を示す図である。
また、雨滴203を検出するためにはレンズ204の焦点がフロントガラス105の表面にある雨滴203に合っているというよりもむしろ、多少ピンボケが発生した方が円としての認識率が高くなり、雨滴検出性能が向上する。
上記のように、図3(a)はピントを無限遠に合わせた場合であり、図3(b)はフロントガラス105面にピントを合わせた場合であるが、図3(b)では背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。映りこむ背景画像は走行シーンによって変化してしまうし、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化への対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図3(a)のように多少ピンボケが発生した場合の方が常に円形の画像が得られ、かつ外乱光による変化が小さくてすむ。
【0015】
次いで、ピントを無限遠とフロントガラス105との間に合わせた場合について説明する。
無限遠に撮像レンズ204の焦点が合っていると、遠方を走行する先行車のテールランプを検出する場合、特に撮像素子206が画素数の一部で検出する場合、撮像素子206上のテールランプの大きさが1画素程度になると色再現ができずにテールランプと認識されない場合があり、正確な先行車のテールランプの検出が困難になる。撮像レンズ204の焦点を無限遠よりも手前に合わせることにより、先行車のテールランプの画像がボケるので、数画素以上の大きさになり、撮像素子206において正確に色が再現できる。
【0016】
ここで、光源波長について説明する。
雨滴を検出すために、本実施形態では、光源202を配置している。光源202としては、発光ダイオード(LED)や半導体レーザ(LD)などを用いればよい。また、光源202の発光波長としては、可視光や赤外光を用いればよい。特に夜間などに対向車や歩行者を眩惑しないようにするためには、可視光より波長が長くて撮像素子207の受光感度がおよぶ範囲の波長(例えば800〜1000nmの中の赤外光領域の波長)を選べば良い。
【0017】
ここで、赤外光透過フィルタについて説明する。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源202は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
そこで、光源202の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源202の発光波長とほぼ一致させたバンドパスフィルタ(図6、分光フィルタ層205B)を、光学フィルタ205の撮像素子側に形成してやってもよい。これにより、必要となる光源202の発光波長以外の光を除去し、検出される光源202の光量を相対的に大きくできる。
なお、本実施形態において、フロントガラス105面の異物や雨滴を検出する雨滴検出と、先行車や対向車、路面領域、白線の検出と、を両立させる場合には、部分的に上記フィルタ層205Bが形成されたものを用いればよい。
もちろん、雨滴検出のみを行う場合は、光学フィルタ205の撮像素子側全面に上記フィルタ層205Bを形成することが出来る。
【0018】
図4は、領域によって光学特性を異ならせたフィルタ例を示す図である。
例えば光学フィルタ205を分割し、画面の中央部1/2の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域とし、画面下部および上部の1/4領域ずつを、雨滴検知を行うように画像処理を行うための雨滴検出領域とする。
このような区分の理由としては、対向車のヘッドライト及び先行車のテールランプは、主として画面中央部に写ることが多く、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、配光制御機能と雨滴検知機能を両立させる場合には、図4に示すように、画面上部ならびに下部を雨滴検知用の赤外バンドパス領域(雨滴検出領域)51とする構成が好適である。
【0019】
また、通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールランプなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、図4に示すようなフィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域(雨滴検出領域)51に割り当てることができる。
【0020】
ここで、赤外光カットフィルタについて説明する。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。
【0021】
また、本実施形態では、雨滴検出波長を除く赤外光をカットするフィルタ(分光フィルタ層)205Aを撮像レンズ側(図6、205a)に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、光学フィルタ205の車両周辺情報検出領域を用いたテールランプの検出精度を向上させることができる。
【0022】
ここで、光源202のフロントガラス表面からの不要反射光に対する対策について説明する。
光源202はフロントガラス105表面でその一部は透過するが、残りは反射し外乱光となる。このような外乱光に対しては、光源のフロントガラス105へ向かって出射する光の光軸と、撮像レンズ204の光軸との2つの光軸で形成される面に対して平行な偏光成分のみを透過する偏光フィルタ205h(図8)を配置して構成される。
また、このような偏光フィルタ205hはダッシュボードなどで反射した映りこみ光も遮断することができる。
【0023】
次に、フィルタと撮像素子との接合について説明する。
図5はセンサ基板部の拡大図である。
撮像素子206は、CCDやCMOSなどを受光素子であり、画素ごとにフォトダイオード206bが2次元画像を構成するべくアレイ配置されたものである。
フォトダイオード206bの表面にはマイクロレンズ206aが形成されておりフォトダイオードとしての集光効率を上げている。
このような撮像素子206は、ワイヤボンディングなどの手法によりPWB基板207に接合されてなり、信号処理部208に情報を伝達する。そして、このようなセンサ基板207の前段に光学フィルタ205が配置されて構成される。撮像素子206のマイクロレンズ側の面には光学フィルタ205が近接配置される。
【0024】
光学フィルタ205と撮像素子206とは、UV接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でUV接着や熱圧着してやればよい。
光学フィルタ205と撮像素子206とを密着接合することにより、光学フィルタ205における雨滴検出領域51と、それ以外の車両周辺情報を検出する車両周辺情報検出領域との境界が明確になり、雨滴有無の判別精度が上げられる。
【0025】
また、図4に示すような、画面上部と下部に雨滴検出領域51を設けたパターンが望ましい。画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域51を設けた場合、光学フィルタ205と撮像素子206を平行に接着することは難しく傾いてしまう。傾いて接着してしまうと画面上部と画面下部で光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子を平行に接着することが可能である。画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。
【0026】
ここで、光学フィルタの断面構成について説明する。
図6(a)は光学フィルタの構成、図6(b)は分光フィルタ層Aの透過率特性、図6(c)は分光フィルタ層Bの透過率特性を示す図である。
上記のように、本実施形態では、図6(a)に示すように光学フィルタ205の基板205kの両面に分光フィルタ層が形成されて構成される。
光学フィルタ205の撮像レンズ側205a(基板205kの撮像レンズ側の面)には分光フィルタ層205Aが形成されている。分光フィルタ層205Aは、図6(b)に示すように、波長範囲400nm〜670nmの所謂可視光領域と、波長範囲940〜970nmの赤外光領域を透過する。可視光領域は車両周辺情報を検出するのに用いて、赤外光領域は雨滴情報を検出するために使用する。
【0027】
また、波長700〜940nmの範囲の光を透過しない(透過率5%以下が望ましい)。この波長を抑制する理由としては、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
また、光学フィルタ205の撮像素子側205b(基板205kの撮像素子側の面)には分光フィルタ層205Bが形成されている。分光フィルタ層205Bは、図6(c)に示すように、波長範囲940〜970nmの赤外光領域を透過帯としており、205a側の面の分光フィルタ層205Aとの組合せにより、波長範囲940nm〜970nmの範囲の光のみを透過することとなる。この波長範囲の中心値と光源202の発光波長を略同等しておくのが望ましい。
【0028】
このように、分光フィルタ層を光学フィルタの基板205kの両面に形成することにより、光学フィルタの反りを抑制することが可能となる。基板の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図6(a)に示すように、基板205kの両面に多層膜(205A、205B)を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタ205hを、分光フィルタ層205Bと光学フィルタ205の基板205kの間に形成してもよい(図8、図13、図14)。
【0029】
光学フィルタ205の撮像素子側205bには、基板205k上に偏光フィルタ層205h、SOG層、分光フィルタ層205Bの順に各層が形成されてもよい。
基板205kは、使用帯域の光(本実施形態では可視光域)に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。
本実施形態では、ガラス、特に、安価で、また耐久性もある石英(屈折率1.46)やテンパックスガラス(屈折率1.51)が用いられている。
【0030】
ここで、偏光フィルタ層205hについて説明する。
まず、図7を参照して、ワイヤグリッド偏光子について説明する。
上記のような偏光子としては、ワイヤグリッド偏光子により構成される。
ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光(例えば、可視光の波長400nmから800nm)に比べて非常に小さいピッチ(例えば、2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【0031】
図7は、ワイヤグリッドの断面構造を示す写真で示す図である。溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
ワイヤグリッド偏光子の効果について説明する。
本実施形態では、ワイヤグリッド構造を選択しているため、以下のような効果を有する。
ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。
よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能であるため、本実施形態のような画素単位で透過偏光軸が選択できる。
また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れるため、車載用途には好適な偏光子の方式である。
【0032】
ここで、SOG層について説明する。
まず、SOG層の構成について説明する。
使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板よりも屈折率の低いか同等の無機材料が充填された充填部(充填層)205i(図8、図13、図14)が形成されている。この充填部205iはワイヤグリッド構造の凸部も覆うように形成されて構成される。
【0033】
次いで、SOG層の材料について説明する。
SOG層の形成材料としては、偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率=1に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ(ポーラス度)によって決まるものである。このうち、とくに基板の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ(n=1.22〜1.26)であれば、基板よりも屈折率が小さくなり好適である。
【0034】
次いで、SOG層の形成方法について説明する。
このSOG層の形成方法としては、無機系塗布膜(SOG:Spin On Glass)生成方法を用いればよい。すなわち、シラノール[Si(OH)4]をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるようにして形成される。
【0035】
次いで、SOG層の効果について説明する。
偏光フィルタ層205hがサブ波長サイズのワイヤグリッド構造であるため、SOG層の上に形成される分光フィルタ層205Bに比べ強度的には弱い。特に、光学フィルタ205は、撮像素子206に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ205と撮像素子206面が接触する可能性もあるが、強度的に弱い偏光フィルタ層205hはSOG層で保護されているため、ワイヤグリッド構造を損傷することなく光学フィルタを実装できる。
なお、分光フィルタ層205BもSOG層で保護してもよいが、発明者らの実験によれば、撮像素子面に画素サイズで領域分割された分光フィルタ層205Bが画素面に接触しても画像に影響を及ぼすような損傷はなかったため、低コスト化のためにも保護しなくてもよい。
【0036】
また、SOG層を設けることによりワイヤグリッド部への異物進入も抑制できる。
ワイヤグリッドの凸部の高さは、一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻にできる。そして、SOGは厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。
本実施形態では、偏光フィルタ層205hをSOG層で覆ったのちに分光フィルタ層205Bを形成しているため、SOG層を安定的に形成できる。またSOG層の上面に形成する分光フィルタ層2055Bもその特性を最適に形成することが可能である。
【0037】
次いで、分光フィルタ(205A、205B)の構成について説明する。
まず、分光フィルタの膜構成について説明する。
分光フィルタは多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して100%近い反射率を得ることもできる。
例えば、赤外成分以外の波長帯域の光を反射させる。撮像する画像の波長範囲が略可視光から赤外光であるため、可視光および赤外の範囲に感度を有する撮像素子を選択し、多層膜の波長範囲としては赤外成分として、例えば波長:λが900nm以上の光を透過し、それ以外の波長は反射するようなカットフィルタを形成すればよい。この場合のカットフィルタとしては、よく知られる基板/(0.125L0.25H0.125L)p/媒質Aのような構成で多層膜を作製すればよい。
ここで、0.125Lは低屈折率材料(例えばSiO2)の膜厚標記方法でnd/λでnは屈折率、dは厚み、λはカットオフ波長であり、0.125Lは1/8波長の光路長となるように膜厚を意味する。同様に0.25Hは1/4波長分の膜厚となるように高屈折率材料(例えばTiO2)を積層することを意味する。さらに、上記pは、このペアを複数層繰り返すことを意味し、pが多いほどリップルなどの影響を抑制できる。また、媒質Aとは空気や、撮像素子と密着接合するための接着剤を意図する。また、基板とはここではSOG層を意図する。
【0038】
また、赤外成分のみを透過する多層膜構造としては、波長範囲として940〜970nmの範囲のみを透過するバンドパスフィルタであってもよい。バンドパスフィルタを用いることで赤外よりも長波長側の赤外域と赤色領域の識別が可能となる。
バンドパスフィルタの構成としては例えば、
基板/(0.125L 0.5M 0.125L)p(0.125L 0.5H 0.125L)q(0.125L 0.5M 0.125L)r/媒質A
という構成を選択すればよい。
なお、上記の通り、多層膜形成用の高屈折率材料としては、二酸化チタン(TiO2)、低屈折率材料としては二酸化珪素(SiO2)などを使用すれば対候性の高い光学フィルタを実現できる。
【0039】
次いで、領域分割フィルタの作製方法について説明する。
領域分割型の分光フィルタは、ガラス平板上に多層膜を形成する。多層膜形成方法としてはよく知られる蒸着などの方法を用いればよい。
また、フィルタ領域分割パターンの作製に関しては、多層膜蒸着時にマスクを設けて赤外光フィルタ領域以外は遮蔽しながら蒸着することにより赤外光透過領域を形成することが可能である。
【0040】
次いで、多層膜を用いた分光フィルタ層の効果について説明する。
本実施形態では、多層膜を用いて分光フィルタ層205Bを形成する。このような多層膜を用いれば、任意の分光輝度特性を得ることができる。一般に、カラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。
本実施形態では、多層膜を用いて分光フィルタ層を形成してなるため、光源202の波長と雨滴検出領域51の波長帯域を略一致させることが可能である。
【0041】
図8に示す撮像装置構成と光路の関係を参照して、本発明の第1実施形態に係る画像処理システムについて説明する。
まず、光源の光路について説明する。
光源202は、フロントガラス105面の異物や雨滴を検出するために設置されている。
光源202は、そのフロントガラスの外側面105の正反射光が撮像レンズの光軸と略一致するように、配置される。
【0042】
撮像装置が受光する光線について、図8中の光路A〜Gの標記を用いて説明する。
光路A、A’において、光源202から出射してフロントガラス105を通過した光線Aは、フロントガラス105の撮像装置から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源202としてはアイセーフ帯の波長・光量の光源を選択される。
光路B、B’において、光源202からの出射光のうち、その一部はフロントガラス105に入射するときにその表面で反射される。一般に、その偏光成分はS偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施形態では、上述のように、光学フィルタ205に偏光フィルタ層205hが設けられており、S偏光成分をカットされるようになっているため、不要光が除去することが可能である。
光路C、C’において、光源202からの出射光のうち、フロントガラス105の内側表面で反射されずにフロントガラス105内を透過した光の成分はP偏光成分がS偏光成分に比べて多くなる。
【0043】
このフロントガラス105内に入射した光は、フロントガラス105の外側に雨滴が付着している場合には雨滴内部で多重反射して撮像装置側に向けて再度フロントガラス105内を透過して、撮像装置201の光学フィルタ205に到達する。分光フィルタ層205Aを透過し、続く偏光フィルタ層205hではP偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、この偏光フィルタ層205hをも通過する。このとき雨滴検出領域51には光源202の波長に合わせた赤外光透過フィルタ(分光フィルタ層205B)が形成されているが、この赤外光透過フィルタを透過し、撮像素子206に到達し、雨滴がフロントガラス105面に付着していることが認識できる。
光路Dにおいて、また光源202ではなく、フロントガラスの外側から入射し撮像装置に到達する光のうち、雨滴検出領域51に到達する光は赤外光透過フィルタでその多くがカットされる。このように雨滴検出領域はフロントガラス外側の外乱光もカットされる構成となっている。
光路Eにおいて、雨滴検出領域ではないフィルタ(車両周辺情報検出領域)を通過する光のうち赤外光成分は赤外光カットフィルタにより遮断される。
光路F、F’において、ダッシュボードなどからの映りこみ光は、車両前方撮影や雨滴検出には不要な成分である。これらの光は偏光フィルタ205hによりカットされる。
一方、光路Gにおいて、雨滴検出領域ではないフィルタ(車両周辺情報検出領域)を通過する光は、可視域および赤外光のみ透過するとともに、P偏光成分のみとなり不要光がカットされた状態で撮像素子206に到達し、後述の各種アプリケーション用の信号として検出される。
【0044】
ここで、雨滴検出のための光源配置について説明する。
上述した光源202は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス105への入射角度が設定される。
発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトはフロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に設置された場合、および撮像装置の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラスの法線と光源の光軸がほぼ一致した場合であった。図8に示す構成は、撮像装置と光源のそれぞれの光軸が略平行となるように配置された場合である。
【0045】
ここで、光源の発光方法について説明する。
光源の発光方法としては、連続発光(CW発光とよばれることもある)でもよいし、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期してやれば、外乱光による影響をより小さくできる。
図9は、照射光量と雨滴検出領域輝度値の関係を説明するための図である。
光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着状態を検出することができる。
図9に示すように、雨滴が均一に付着している場合(符号91)は、照射光量の変化に対して輝度値は線形に変化する(符号91a)のに対して、雨滴がまばらに付着している場合(符号92)は照射光量の変化に対して輝度値は非線形に変化する(符号92a)。
【0046】
次に、図10(a)〜図10(c)に示すタイミングチャートを参照して、本実施形態に係る画像処理システムにおける光源発光の変調方法について説明する。
図2に示した光源制御部209は、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御する。
例えば、光源制御部209は、光源202の発光パワーレベルを変化させることにより、フロントガラス105面での照射光量を変化させる。すなわち、光源202の照射光量の調整方法として、図10(a)のように、各フレーム間で発光パワーをPo、Pa、Pb、Pcのように順次に変化させる方法でもよい。
【0047】
また、光源制御部209は、光源202の発光時間の長さを変化させることにより、フロントガラス105面での照射光量を変化させる。すなわち、図10(b)のように、各フレーム間で発光パワーは同一(Po)で、発光時間をt1、t2、t3のように順次に変化させる方法でもよい。
さらに、光源制御部209は、撮像素子206の各フレーム間でパルス数を増加するように制御する。すなわち、図10(c)のように、同一パルス時間t1でマルチパルス発光させ、1フレームのなかでのパルス数を増加させる方法を用いてもよい。
なお、図10では、便宜上、連続するフレームで照射光量を変化させる方法を説明したが、実際には、露光時間の異なる複数の画像を撮影して雨滴を検出したり、車両前方画像を検出したりするため、図10の各フレーム間には雨滴検出ではなく車両前方検出用のフレームが入る。このとき、光源は発光させない、もしくは発光パワーを下げておくことで、不要光の発生を抑制できる。
【0048】
次に、第1実施形態における光源制御部209、信号処理部208および画像解析ユニット102での動作について説明する。
上述したように、光源制御部209が、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御するので、フロントガラス105面での光源202からの照射光量が変化する。
次いで、フロントガラス105の外側の面に付着した異物によって反射された光源202からの光を撮像素子206で撮像する。次いで、撮像素子206は、撮像した画像を電気信号として信号処理部208に出力する。信号処理部208では、撮像素子206から入力された電気信号から画像信号を生成する。
次いで、信号処理部208は、画像データとして、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに画像解析ユニット102へ出力する。
次いで、画像解析ユニット102には、信号処理部208から、画像の水平・垂直同期信号とともに、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号が入力される。
画像解析ユニット102では、フロントガラス105面での光源202からの照射光量の変化に応じて、画像の画素毎の明るさ(輝度)を示すデジタル信号からフロントガラス105面に付着した雨滴の付着度合いを検出する。
【0049】
図11は、本発明の第1実施形態に係る画像処理システムにおける、信号処理部208、光源制御部209および画像処理ユニット102による動作を説明するフローチャートである。
なお、光源制御部209および画像処理ユニット102は、ROM、RAMおよびCPUを有し、CPUがROMに記憶されているプログラムを読み出して実行する。
【0050】
まず、ステップS5では、信号処理部208は、露光時間を固定する。露光時間は1フレーム分の時間を設定することで、1フレーム内の照射光量の変化を検出し易くする。
次いで、ステップS10では、光源制御部209は、光源202、202’をOFF状態に設定する。
次いで、ステップS15では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(0)を取り込む。ここで、画像I(0)は周囲環境から影響を受けている雨滴検出領域51内のバックグランドノイズに相当する。
次いで、ステップS20では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS25では、光源制御部209は、光源202、202’をP=2に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Paに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t1に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を2つに設定する。
【0051】
次いで、ステップS30では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(1)を取り込む。
次いで、ステップS35では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS40では、光源制御部209は、光源202、202’をP=2に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Pcに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t2に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を3つに設定する。
次いで、ステップS45では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(2)を取り込む。
【0052】
次いで、ステップS50では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS55では、光源制御部209は、光源202、202’をP=3に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Poに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t3に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を4つに設定する。
次いで、ステップS60では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(3)を取り込む。
次いで、ステップS60では、画像処理ユニット102は、I(1)−I(0)、I(2)−I(0)、I(3)−I(0)のそれぞれの傾きm(1)、m(2)、m(3)を算出する。
なお、図9を参照すると、例えば、照射光量P=1のときの画像I(1)から消灯時の画像I(0)を対応する画素毎に減算すると、雨滴の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に0点の位置になる。従って、I(1)−I(0)の傾きm1は、画像{I(1)−I(0)}の全画素の平均値を照射光量Pで除算した値と考えればよい。ここで、画像は1画素につき例えば256階調を有するものである。
【0053】
また、照射光量P=1から3までの値がリニアに変化すると仮定すれば、I(1)−I(0)の傾きm1は、画像{I(1)−I(0)}の全画素の平均値を1で除算した値と考え、また、I(2)−I(0)の傾きm2は、画像{I(2)−I(0)}の全画素の平均値を2で除算した値と考え、さらに、I(3)−I(0)の傾きm3は、画像{I(3)−I(0)}の全画素の平均値を3で除算した値と考えればよい。これにより、傾きm(1)、m(2)、m(3)は、0〜256の範囲内にあることとなる。
ここで、ステップS60において、算出された傾きm(1)、m(2)、m(3)を例えば256で割って、100を掛けた値を雨滴の付着度合M%と考えてもよく、この場合、式(1)のように雨滴の付着度合M%は、
M=(m/256)×100 % (1)
と表すことができる。
【0054】
次いで、ステップS60では、画像処理ユニット102は、m(1)、m(2)、m(3)の何れか1つが閾値mthを超えた場合、ワイパー制御信号を出力する。ここで、閾値mthは0〜256の範囲内の値であればよい。
また、閾値mthに代わって、0〜1の範囲内の閾値Mthであれば、上記式(1)を用いて算出した雨滴の付着度合Mを採用することが可能となる。
さらに、閾値mthや閾値Mthを数段階に設定すれば、この段階に応じてワイパー制御信号にも制御レベルを付加することができるので、雨滴の付着度合に応じてワイパー制御ユニット106の駆動段階を低速、中速、高速というように段階的に早く設定することができる。またこの駆動段階に代わって、間歇動作の休止時間を段階的に短くしていくように設定することができる。
すなわち、図9に示すように、雨滴が均一に付着している場合は、照射光量の変化に対して輝度値は線形(91a)に変化して高くなるので、フロントガラス105面に付着した雨滴の付着度合も高く検出される。これに対して、雨滴がまばらに付着している場合は、照射光量の変化に対して輝度値は非線形(92a)に変化して低くなるので、フロントガラス105面に付着した雨滴の付着度合も低く検出される。
【0055】
上述したように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。
なお、雨滴検出のみではなく、先行車や対向車の検知や、路面領域や白線などの検知を行う場合には、雨滴検出領域の画像取込処理の開始前、及び各雨滴検出領域の画像取込処理(S5〜S15、S20〜S30、S35〜45、S50〜S60)の間に、図4に示した光学フィルタ205の中央部1/2の領域(車両周辺情報検出領域)を用いた配光制御や車両制御用の画像を撮影する処理が入る。
【0056】
次に、具体的な認識結果について説明する。
発明者らが撮影した実験結果を図12に示す。画像下部と上部に雨滴検出領域を設けている。画像中上部は除いた画像となっている。図12(a)は雨滴が付着している場合で、図12(b)は雨滴が付着していない場合に相当する。
画像中の「detection area」と記載されている画面位置ところが雨滴検出領域であり、この領域に雨滴付着時はLED光が入射し、図12(b)のように雨滴が付着していないときは、LED光は検出されない。雨滴が付着されているときは「Rain detected」と表示されるように雨滴を認識している。
また、雨滴が付着していないときは「Rain not detected」ということで認識していない状態を示している。この認識処理はLED受光量の閾値調整により容易に行える。なお閾値は一位に定める必要なく、撮像装置の車両周辺情報を得る領域の露光調整情報などをもとに最適値を算出してやってもよい。
【0057】
次いで、露光量の調整について説明する。
なお、上図では車両周辺情報と雨滴が同時に撮影した画像であるが、本実施形態においては露光時間を異ならせた2枚の画像をとり、雨滴検出用の画像と車両周辺検出用の画像との2枚を生成できる。分光フィルタAのみの領域と、分光フィルタ層AおよびBからなる領域とでは取得光量が異なるが、露光時間の異なる2枚の画像を撮影すればそれぞれの画像について最適な露光で情報を取得することが可能となる。
遠方の画像を撮影する場合は、分光フィルタ層Aのみの領域の部分を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層AおよびB両方を透過する部分を検出しながら自動露光調整すればよい。
分光フィルタ層Aのみの領域は、周辺の光量変化が大きい。カメラが撮影する車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお本実施形態で説明してきた車載カメラにおいては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
一方、分光フィルタ層AおよびBからなる領域については、光源202の異物からの反射光のみを取り込むように設定されてなるため、周辺環境による光量の変化は小さいため、固定露光時間で撮影することも可能である。
【0058】
<第2実施形態>
図13に示す撮像装置構成と光路の関係を参照して、本発明の第2実施形態に係る画像処理システムについて説明する。
第1実施形態では図8に示す撮像装置構成と光路の関係を用いて説明したが、第2実施形態では図13に示す撮像装置構成と光路の関係を用いることを特徴とする。
上述したとおり、フロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に設置された構成であってもよい。図13は、光源202の光軸が図8に示す構成と同様に撮像レンズの光軸に略平行であり、光源202’の光軸はフロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に配置された状態を示す。
【0059】
平行に入射した光路で反射するものと、下側から斜めで入射する場合とで雨滴の多重反射状態は変わるため、検出できる雨滴の形状が広げられる。なお図13では、図8で説明した光路D〜Gについては便宜上省いている。
第1実施形態では図10(a)〜図10(c)に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第2実施形態でも図10(a)〜図10(c)に示すタイミングチャートを用いることが可能であるため、その説明を省略する。
第1実施形態では光源制御部209、信号処理部208および画像解析ユニット102での動作について説明したが、第2実施形態でも光源制御部209、信号処理部208および画像解析ユニット102での動作は同様であるので、その説明を省略する。
【0060】
ここで、図11に示すフローチャートを参照して、本発明の第2実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、第2実施形態における説明するは、第1実施形態と同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。
【0061】
<第3実施形態>
図14に示す撮像装置構成と光路の関係を参照して、本発明の第3実施形態に係る画像処理システムについて説明する。
第1実施形態では図8に示す撮像装置構成と光路の関係を用いて説明したが、第3実施形態では図14に示す撮像装置構成と光路の関係を用いることを特徴とする。
光源202としてはLDやLEDを用いればよいが、いずれの光源も温度の変化に応じて、その発光パワーが変化する。発光パワーが変化すると雨滴からの反射光量も変化してしまうため、雨滴の付着レベルを誤って検出してしまう。
このような課題に対しては、光源の発光パワーを検出し、フィードバックをかけることが可能である。温度が上がり、発光パワーが低下した場合はもとの発光パワーとなるように調整する。なお後述するとおり、撮像素子が輝度値を検出する1フレームのなかでのフロントガラス105面での照射光量が所定の値になっていればよく、発光パワーの調整方法としては、発光パワーレベルを調整させたり、発光時間を調整させたり、マルチパルス発光させている場合はその発光させるパルス数を調整すればよい。
このようなフロントガラス105面での光源の照射光量を検出する方法としては、図14のようにフロントガラス内側の反射光(光路H)を用いればよい。フロンとガラス内側の反射光は前述のとおりS偏光成分が支配的であるため、偏光フィルタ層にS偏光成分のみを透過する領域205hsを形成(図15)し、該領域の輝度値を検出してやればよい。
【0062】
図15は、光学フィルタの領域分割パターンと検出項目の関係を説明するための図である。
P偏光成分のみを透過する領域(雨滴検出領域)205hpと、S偏光成分のみを透過する領域(モニタ領域)205hsはワイヤグリッドの溝方向を直交させることにより形成できる。
画像解析ユニットは、光源によってフロントガラス105面に照射された光のうち、フロントガラス105面の内側で反射された光の撮像結果を用いて、光源の発光量をモニタすることができる。
【0063】
また、光学フィルタ205は、領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、領域分割型偏光フィルタは、領域分割型分光フィルタの領域を透過した光の一部の領域についてはS偏光成分のみを透過させ、一部の領域外の部分はP偏光成分のみを透過させるように領域分割されたものであり、画像解析ユニットは、領域分割型偏光フィルタのP偏光成分のみを透過させる領域205hpを透過した光を用いてフロントガラス105面の異物検出を行い、S偏光成分のみを透過させる領域205hsを透過した光を用いて光源の発光量をモニタすることができる。
【0064】
第1実施形態では図10(a)〜図10(c)に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第3実施形態でも図10(a)〜図10(c)に示すタイミングチャーを用いることが可能であるため、その説明を省略する。
第1実施形態では光源制御部209、信号処理部208および画像解析ユニット102での動作について説明したが、第3実施形態でも光源制御部209、信号処理部208および画像解析ユニット102での動作は同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。
【0065】
次に、図16に示すフローチャートを参照して、本発明の第3実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、ステップS5、S10、S20、S35、S50、S65、S70については、第1実施形態において説明したので、その説明を省略する。
上述したように、画像解析ユニット102は、図14に示す光源202’によってフロントガラス105面に照射された光のうち、フロントガラス105面の内側で反射された光路Hを通る光が光源パワーモニタ領域205hsを通過した画像を撮像素子205で撮像しておき、この撮像結果を用いて、光源202’の発光量をモニタしている。
【0066】
ステップS115では、画像処理ユニット102は、信号処理部208から雨滴検出領域205hpの画像I(0)を取り込むとともに、信号処理部208から雨滴検出領域205hsの画像R(0)を取り込む。ここで、画像I(0)は周囲環境から影響を受けている雨滴検出領域205hp内のバックグランドノイズに相当する。画像R(0)は周囲環境から影響を受けている雨滴検出領域205hs内のバックグランドノイズに相当する。
ステップS130では、画像処理ユニット102は、信号処理部208から雨滴検出領域205hpの画像I(1)を取り込むとともに、信号処理部208から雨滴検出領域205hsの画像R(1)を取り込む。ステップS145、S160においても同様である。
本フローチャートに示すプログラムを最初に起動するときには、ステップS125では、メモリに記憶された規定値の発光パワーP1を読み出して、光源点灯時のパワーとして設定する。ステップS140、S155においても同様である。
【0067】
一方、2回目以降は、ステップS125では、メモリに記憶された発光パワーP1を読み出して、光源点灯時のパワーとして設定する。同様に、ステップS140においてはP2、ステップS155においてはP3を設定する。
ステップS175では、画像処理ユニット102は、R(1)−R(0)を算出する。すなわち、照射パワーP1のときの画像R(1)から消灯時の画像R(0)を対応する画素毎に減算すると、フロントガラス105の車両室内側からの反射光の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に0点の位置になる。この際に、減算結果の画像{R(1)−R(0)}の全画素の平均値を算出しておき、結果値r(1)とする。
次いで、ステップS180では、画像処理ユニット102は、結果値r(1)が所定発光パワーPの範囲内にある場合にメモリに記憶する。ここで、結果値r(1)は撮像レベルを表しているので、この撮像レベルを発光パワーP1に変換しておく。この最に、撮像レベル−発光パワー変換テーブルを用いればよい。そして、発光パワーP1がP1s<P1<P1eの範囲内にある場合には、発光パワーP1をメモリに記憶する。
【0068】
一方、発光パワーP1がP1<P1sの範囲にある場合には、発光パワーP1が比較的弱い状態にあり、光量ばらつきの原因となる。そこで、発光パワーP1+ΔP1を新たな発光パワーP1とする。また、発光パワーP1がP1e<P1の範囲にある場合には、発光パワーP1が比較的強い状態にあり、光量ばらつきの原因となる。そこで、発光パワーP1−ΔP1を新たな発光パワーP1とする。
そして、このようにして算出された新たな発光パワーP1をメモリに記憶する。これにより、発光パワーP1を補正することができ、光量ばらつきを低減することができる。
ステップS185〜S190、S195〜S200においても、ステップS175〜S180と同様の処理を行う。すなわち、ステップS190では、発光パワーP2がP2s<P2<P2eの範囲内にある場合には、発光パワーP2をメモリに記憶する。また、ステップS200では、発光パワーP3がP3s<P3<P3eの範囲内にある場合には、発光パワーP3をメモリに記憶する。
このようにしてメモリに記憶されたそれぞれの発光パワーPを読み出して、それぞれのステップS125、S140、S155における光源点灯時のパワーとして設定することで、光源パワーにおけるフィードバック制御に利用することができる。
【0069】
<変形例1>
上記第1〜第3実施形態では、画像解析ユニット102を用いて、撮像装置により撮像された画像からフロントガラス105面に付着した雨滴の付着度合いを検出するという処理を行っているが、本発明はこのような場合に限定されるものではなく、同様の処理内容を行う手段を撮像ユニット101内に内蔵させ、直接にワイパー制御ユニット106を作動させてもよい。
【符号の説明】
【0070】
101 撮像ユニット、102 画像解析ユニット、105 フロントガラス、201 撮像装置、202,202’ 光源、204 撮像レンズ、205 光学フィルタ、206 撮像素子、207 センサ基板、208 信号処理部、209 光源制御部
【先行技術文献】
【特許文献】
【0071】
【特許文献1】特許3536738号
【特許文献2】特開2010−204059公報
【特許文献3】特開2005−225250公報
【特許文献4】特開2005−195566公報
【技術分野】
【0001】
本発明は、車両のフロントガラスの表面に付着する異物を検出するのに適した画像処理システムに関する。
【背景技術】
【0002】
従来、車両のフロントガラスの表面に付着する異物を検出するための画像処理システムとしては、特許文献1〜4に記載されたものが知られている。
特許文献1には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。
この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。
発光素子からの光を平行光にしてプリズム本体に入射させ、プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、光路上に配置されたレンズ部によって集光されて受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。
【0003】
特許文献2には、P偏光画像とS偏光画像を撮像できる撮像装置を用いて雨滴の有無を判別する雨滴検出装置が開示されている。
この装置では、光源から車両のフロントスクリーンに入射角がブリュースター角になる平行光束を照射し、撮像装置でフロントスクリーンに照射した光束の反射光を受光してS偏光画像とP偏光画像を撮像し、雨滴検出処理部は撮像したS偏光画像とP偏光画像の反射率の差からフロントスクリーンに雨滴が付着しているか否を判別し、フロントスクリーンに雨滴が付着している場合の雨滴量を単純な構成で検出している。
また、特許文献3には、車両に付着した雨滴を撮像するための近距離用の第1の焦点距離と、車両の周辺を撮像するための遠距離用の第2の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
また、特許文献4には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像することを特徴とする画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、特許文献1に記載されたる発光素子と受光素子からなる雨滴センサを用いれば、フロントガラス105面に付着した雨滴を検出できることが知られている。
しかしながら、特許文献1の雨滴センサはフロントガラス105面に密着配置する必要があり、検出領域が限定されるという問題がある。
検出領域を大きくしようとすると雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス105面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。
【0005】
一方、特許文献2に記載されるような、撮像レンズと撮像素子からなる撮像装置を用いる方法が開示されている。
特許文献2においては、特許文献1の専用センサに比べて、レンズ位置とレンズ画角の調整により検出領域を大きくとれるが、レンズの焦点をフロントガラス105面としているため、車両周辺状況を撮影するには車両周辺監視用の撮像装置を設置する必要があることが記載されている。
また、特許文献3に記載される遠近両用の焦点を有するレンズを用いれば、フロントガラス105面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス105面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難であることが、本発明者らによる実験により確認されている。
また、特許文献3のように、レンズの領域分割により遠近の2焦点を形成することは単レンズであれば可能性があるが、一般に車両に搭載される撮像レンズは4枚〜6枚程度であり、このような複数枚レンズにおいて領域分割することは極めて困難である。
【0006】
さらに特許文献4には、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、上記のような背景コントラストや輝点の変化については記載されていない。
また、特許文献4には、特定波長の光を発光させるとともに、撮像装置の内部に発光波長に対応した波長フィルタを設置することで信頼性を上げることが記載されてない。
また、光源は温度など環境変化によって出力レベルが変動するが、その対処方法には言及されていない。
さらに、従来のアルゴリズム処理によれば、雨滴検出に関わる処理負担が高かった。
本発明は、上記に鑑みてなされたもので、フロントガラス105面の異物を検出するとともに、雨滴の付着度合を容易に検出することが可能な画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1に係る発明は、フロントガラスに向けて光を照射する光源と、前記フロントガラスに対して前記光源と同じ側に、焦点が前記フロントガラスの位置よりも遠方に設定され撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタを備え、前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部とを備えることを特徴とする画像処理システムである。
【発明の効果】
【0008】
本発明によれば、撮像素子の各フレーム間で光源に対する変調度を変化するように制御し、フロントガラス面での光源からの照射光量の変化に応じて、撮像装置により撮像された画像からフロントガラス面に付着した雨滴の付着度合いを検出することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1実施形態に係る画像処理システムの構成を示す図。
【図2】図1に示す撮像ユニットの構成を説明する図。
【図3】図2に示す撮像装置により撮影された画像を示す図。
【図4】図2に示す光学フィルタの領域によって光学特性を異ならせたことを示す図。
【図5】図2に示すセンサ基板部の拡大図。
【図6】図2に示す光学フィルタの断面構成、分光フィルタ層Aの透過率特性、分光フィルタ層Bの透過率特性を示す図。
【図7】ワイヤグリッドの断面構造を写真で示す図。
【図8】本発明の第1実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図9】本発明の第1実施形態に係る画像処理システムにおける、照射光量と雨滴検出領域輝度値の関係を説明するための図。
【図10】本発明の第1実施形態に係る画像処理システムにおける、光源発光の変調方法について説明するためのタイミングチャート。
【図11】本発明の第1実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。
【図12】本発明の第1実施形態に係る画像処理システムにおける、雨滴が付着している場合、雨滴が付着していない場合の実験結果を写真で示す図。
【図13】本発明の第2実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図14】本発明の第3実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。
【図15】光学フィルタの領域分割パターンと検出項目の関係を説明するための図。
【図16】本発明の第3実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態について詳細に説明する。
<第1実施形態>
本発明の第1実施形態に係る画像処理システムについて説明する。
図1は、自動車などの車両100に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット101と画像解析ユニット102とを有している。
撮像ユニット101は、車両100が走行する前方の画像を撮像できるように、座席のルームミラー位置に設置されている。撮像ユニット101で撮像された車両前方の画像は、画像信号化されて画像解析ユニット102に入力される。画像解析ユニット102は、撮像ユニット101から出力された画像信号を解析する。
具体例としては、画像解析ユニット102は、車両100の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット103は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した距離値から、ヘッドライト104を制御する制御信号を生成する。ヘッドライト制御ユニット103が生成した制御信号は、ヘッドライト104に送られる。ヘッドライト制御ユニット103は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト104のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。
【0011】
また、画像解析ユニット102は、車両のフロントガラス105に付着した異物を検出する。
ワイパー制御ユニット106は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した異物や雨量などから、ワイパー107を制御する制御信号を生成する。
ワイパー制御ユニット106が生成した制御信号は、ワイパー107に送られる。ワイパー制御ユニット106は、ドライバの視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102は、車両が進行する道路の路面領域や白線を検出する。
画像解析ユニット102は、車両100が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット108は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット108は、ハンドルやブレーキの制御をも行う。
【0012】
図2は、図1における撮像ユニット101の構成について説明する図である。
撮像ユニット101には、撮像装置201、光源202,202’、光源制御部209が備えられている。
撮像装置201は、撮像レンズ204、光学フィルタ205、撮像素子206を含むセンサ基板207、信号処理部208、を備えている。
また、撮像装置201の近傍には光源202、202’が配置されている。
これらの光源は、これらの光源が照射する光の光軸202b、202’bの方向と撮像レンズの光軸204bの方向が略平行であるとともに、撮像レンズ204の画角範囲204aと光源202、202’の照射領域202a、202’aがフロントガラス105面で重なるように配置されている。
被検物からの光は撮像レンズ204を通り、光学フィルタ205を透過して撮像素子206で電気信号に変換される。ここでの被検物としては車両前方の風景、およびフロントガラス105面に付着した雨滴などの異物である。
【0013】
信号処理部208は、撮像素子206から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置201は、画像データとして、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ204の焦点位置は、無限遠或いは、無限遠とフロントガラス105の間としている。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
光源制御部209は、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御する。
具体的には、光源制御部209は、光源202の発光パワーレベルを変化させることにより、フロントガラス105面での照射光量を変化させる。
あるいは、光源制御部209は、光源202の発光時間の長さを変化させることにより、フロントガラス105面での照射光量を変化させる。
図1に示す画像解析ユニット102は、フロントガラス105面での光源202からの照射光量の変化に応じて、フロントガラス105面に付着した雨滴の付着度合いを検出する。
【0014】
図3は撮像装置により撮影された画像を示す図であり、(a)はピントを無限遠に合わせた場合、図3(b)はフロントガラス105面にピントを合わせた場合の画像を示す図である。
また、雨滴203を検出するためにはレンズ204の焦点がフロントガラス105の表面にある雨滴203に合っているというよりもむしろ、多少ピンボケが発生した方が円としての認識率が高くなり、雨滴検出性能が向上する。
上記のように、図3(a)はピントを無限遠に合わせた場合であり、図3(b)はフロントガラス105面にピントを合わせた場合であるが、図3(b)では背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。映りこむ背景画像は走行シーンによって変化してしまうし、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化への対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図3(a)のように多少ピンボケが発生した場合の方が常に円形の画像が得られ、かつ外乱光による変化が小さくてすむ。
【0015】
次いで、ピントを無限遠とフロントガラス105との間に合わせた場合について説明する。
無限遠に撮像レンズ204の焦点が合っていると、遠方を走行する先行車のテールランプを検出する場合、特に撮像素子206が画素数の一部で検出する場合、撮像素子206上のテールランプの大きさが1画素程度になると色再現ができずにテールランプと認識されない場合があり、正確な先行車のテールランプの検出が困難になる。撮像レンズ204の焦点を無限遠よりも手前に合わせることにより、先行車のテールランプの画像がボケるので、数画素以上の大きさになり、撮像素子206において正確に色が再現できる。
【0016】
ここで、光源波長について説明する。
雨滴を検出すために、本実施形態では、光源202を配置している。光源202としては、発光ダイオード(LED)や半導体レーザ(LD)などを用いればよい。また、光源202の発光波長としては、可視光や赤外光を用いればよい。特に夜間などに対向車や歩行者を眩惑しないようにするためには、可視光より波長が長くて撮像素子207の受光感度がおよぶ範囲の波長(例えば800〜1000nmの中の赤外光領域の波長)を選べば良い。
【0017】
ここで、赤外光透過フィルタについて説明する。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源202は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
そこで、光源202の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源202の発光波長とほぼ一致させたバンドパスフィルタ(図6、分光フィルタ層205B)を、光学フィルタ205の撮像素子側に形成してやってもよい。これにより、必要となる光源202の発光波長以外の光を除去し、検出される光源202の光量を相対的に大きくできる。
なお、本実施形態において、フロントガラス105面の異物や雨滴を検出する雨滴検出と、先行車や対向車、路面領域、白線の検出と、を両立させる場合には、部分的に上記フィルタ層205Bが形成されたものを用いればよい。
もちろん、雨滴検出のみを行う場合は、光学フィルタ205の撮像素子側全面に上記フィルタ層205Bを形成することが出来る。
【0018】
図4は、領域によって光学特性を異ならせたフィルタ例を示す図である。
例えば光学フィルタ205を分割し、画面の中央部1/2の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域とし、画面下部および上部の1/4領域ずつを、雨滴検知を行うように画像処理を行うための雨滴検出領域とする。
このような区分の理由としては、対向車のヘッドライト及び先行車のテールランプは、主として画面中央部に写ることが多く、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、配光制御機能と雨滴検知機能を両立させる場合には、図4に示すように、画面上部ならびに下部を雨滴検知用の赤外バンドパス領域(雨滴検出領域)51とする構成が好適である。
【0019】
また、通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールランプなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、図4に示すようなフィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域(雨滴検出領域)51に割り当てることができる。
【0020】
ここで、赤外光カットフィルタについて説明する。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。
【0021】
また、本実施形態では、雨滴検出波長を除く赤外光をカットするフィルタ(分光フィルタ層)205Aを撮像レンズ側(図6、205a)に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、光学フィルタ205の車両周辺情報検出領域を用いたテールランプの検出精度を向上させることができる。
【0022】
ここで、光源202のフロントガラス表面からの不要反射光に対する対策について説明する。
光源202はフロントガラス105表面でその一部は透過するが、残りは反射し外乱光となる。このような外乱光に対しては、光源のフロントガラス105へ向かって出射する光の光軸と、撮像レンズ204の光軸との2つの光軸で形成される面に対して平行な偏光成分のみを透過する偏光フィルタ205h(図8)を配置して構成される。
また、このような偏光フィルタ205hはダッシュボードなどで反射した映りこみ光も遮断することができる。
【0023】
次に、フィルタと撮像素子との接合について説明する。
図5はセンサ基板部の拡大図である。
撮像素子206は、CCDやCMOSなどを受光素子であり、画素ごとにフォトダイオード206bが2次元画像を構成するべくアレイ配置されたものである。
フォトダイオード206bの表面にはマイクロレンズ206aが形成されておりフォトダイオードとしての集光効率を上げている。
このような撮像素子206は、ワイヤボンディングなどの手法によりPWB基板207に接合されてなり、信号処理部208に情報を伝達する。そして、このようなセンサ基板207の前段に光学フィルタ205が配置されて構成される。撮像素子206のマイクロレンズ側の面には光学フィルタ205が近接配置される。
【0024】
光学フィルタ205と撮像素子206とは、UV接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でUV接着や熱圧着してやればよい。
光学フィルタ205と撮像素子206とを密着接合することにより、光学フィルタ205における雨滴検出領域51と、それ以外の車両周辺情報を検出する車両周辺情報検出領域との境界が明確になり、雨滴有無の判別精度が上げられる。
【0025】
また、図4に示すような、画面上部と下部に雨滴検出領域51を設けたパターンが望ましい。画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域51を設けた場合、光学フィルタ205と撮像素子206を平行に接着することは難しく傾いてしまう。傾いて接着してしまうと画面上部と画面下部で光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子を平行に接着することが可能である。画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。
【0026】
ここで、光学フィルタの断面構成について説明する。
図6(a)は光学フィルタの構成、図6(b)は分光フィルタ層Aの透過率特性、図6(c)は分光フィルタ層Bの透過率特性を示す図である。
上記のように、本実施形態では、図6(a)に示すように光学フィルタ205の基板205kの両面に分光フィルタ層が形成されて構成される。
光学フィルタ205の撮像レンズ側205a(基板205kの撮像レンズ側の面)には分光フィルタ層205Aが形成されている。分光フィルタ層205Aは、図6(b)に示すように、波長範囲400nm〜670nmの所謂可視光領域と、波長範囲940〜970nmの赤外光領域を透過する。可視光領域は車両周辺情報を検出するのに用いて、赤外光領域は雨滴情報を検出するために使用する。
【0027】
また、波長700〜940nmの範囲の光を透過しない(透過率5%以下が望ましい)。この波長を抑制する理由としては、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
また、光学フィルタ205の撮像素子側205b(基板205kの撮像素子側の面)には分光フィルタ層205Bが形成されている。分光フィルタ層205Bは、図6(c)に示すように、波長範囲940〜970nmの赤外光領域を透過帯としており、205a側の面の分光フィルタ層205Aとの組合せにより、波長範囲940nm〜970nmの範囲の光のみを透過することとなる。この波長範囲の中心値と光源202の発光波長を略同等しておくのが望ましい。
【0028】
このように、分光フィルタ層を光学フィルタの基板205kの両面に形成することにより、光学フィルタの反りを抑制することが可能となる。基板の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図6(a)に示すように、基板205kの両面に多層膜(205A、205B)を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタ205hを、分光フィルタ層205Bと光学フィルタ205の基板205kの間に形成してもよい(図8、図13、図14)。
【0029】
光学フィルタ205の撮像素子側205bには、基板205k上に偏光フィルタ層205h、SOG層、分光フィルタ層205Bの順に各層が形成されてもよい。
基板205kは、使用帯域の光(本実施形態では可視光域)に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。
本実施形態では、ガラス、特に、安価で、また耐久性もある石英(屈折率1.46)やテンパックスガラス(屈折率1.51)が用いられている。
【0030】
ここで、偏光フィルタ層205hについて説明する。
まず、図7を参照して、ワイヤグリッド偏光子について説明する。
上記のような偏光子としては、ワイヤグリッド偏光子により構成される。
ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光(例えば、可視光の波長400nmから800nm)に比べて非常に小さいピッチ(例えば、2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【0031】
図7は、ワイヤグリッドの断面構造を示す写真で示す図である。溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
ワイヤグリッド偏光子の効果について説明する。
本実施形態では、ワイヤグリッド構造を選択しているため、以下のような効果を有する。
ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。
よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能であるため、本実施形態のような画素単位で透過偏光軸が選択できる。
また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れるため、車載用途には好適な偏光子の方式である。
【0032】
ここで、SOG層について説明する。
まず、SOG層の構成について説明する。
使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板よりも屈折率の低いか同等の無機材料が充填された充填部(充填層)205i(図8、図13、図14)が形成されている。この充填部205iはワイヤグリッド構造の凸部も覆うように形成されて構成される。
【0033】
次いで、SOG層の材料について説明する。
SOG層の形成材料としては、偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率=1に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ(ポーラス度)によって決まるものである。このうち、とくに基板の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ(n=1.22〜1.26)であれば、基板よりも屈折率が小さくなり好適である。
【0034】
次いで、SOG層の形成方法について説明する。
このSOG層の形成方法としては、無機系塗布膜(SOG:Spin On Glass)生成方法を用いればよい。すなわち、シラノール[Si(OH)4]をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるようにして形成される。
【0035】
次いで、SOG層の効果について説明する。
偏光フィルタ層205hがサブ波長サイズのワイヤグリッド構造であるため、SOG層の上に形成される分光フィルタ層205Bに比べ強度的には弱い。特に、光学フィルタ205は、撮像素子206に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ205と撮像素子206面が接触する可能性もあるが、強度的に弱い偏光フィルタ層205hはSOG層で保護されているため、ワイヤグリッド構造を損傷することなく光学フィルタを実装できる。
なお、分光フィルタ層205BもSOG層で保護してもよいが、発明者らの実験によれば、撮像素子面に画素サイズで領域分割された分光フィルタ層205Bが画素面に接触しても画像に影響を及ぼすような損傷はなかったため、低コスト化のためにも保護しなくてもよい。
【0036】
また、SOG層を設けることによりワイヤグリッド部への異物進入も抑制できる。
ワイヤグリッドの凸部の高さは、一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻にできる。そして、SOGは厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。
本実施形態では、偏光フィルタ層205hをSOG層で覆ったのちに分光フィルタ層205Bを形成しているため、SOG層を安定的に形成できる。またSOG層の上面に形成する分光フィルタ層2055Bもその特性を最適に形成することが可能である。
【0037】
次いで、分光フィルタ(205A、205B)の構成について説明する。
まず、分光フィルタの膜構成について説明する。
分光フィルタは多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して100%近い反射率を得ることもできる。
例えば、赤外成分以外の波長帯域の光を反射させる。撮像する画像の波長範囲が略可視光から赤外光であるため、可視光および赤外の範囲に感度を有する撮像素子を選択し、多層膜の波長範囲としては赤外成分として、例えば波長:λが900nm以上の光を透過し、それ以外の波長は反射するようなカットフィルタを形成すればよい。この場合のカットフィルタとしては、よく知られる基板/(0.125L0.25H0.125L)p/媒質Aのような構成で多層膜を作製すればよい。
ここで、0.125Lは低屈折率材料(例えばSiO2)の膜厚標記方法でnd/λでnは屈折率、dは厚み、λはカットオフ波長であり、0.125Lは1/8波長の光路長となるように膜厚を意味する。同様に0.25Hは1/4波長分の膜厚となるように高屈折率材料(例えばTiO2)を積層することを意味する。さらに、上記pは、このペアを複数層繰り返すことを意味し、pが多いほどリップルなどの影響を抑制できる。また、媒質Aとは空気や、撮像素子と密着接合するための接着剤を意図する。また、基板とはここではSOG層を意図する。
【0038】
また、赤外成分のみを透過する多層膜構造としては、波長範囲として940〜970nmの範囲のみを透過するバンドパスフィルタであってもよい。バンドパスフィルタを用いることで赤外よりも長波長側の赤外域と赤色領域の識別が可能となる。
バンドパスフィルタの構成としては例えば、
基板/(0.125L 0.5M 0.125L)p(0.125L 0.5H 0.125L)q(0.125L 0.5M 0.125L)r/媒質A
という構成を選択すればよい。
なお、上記の通り、多層膜形成用の高屈折率材料としては、二酸化チタン(TiO2)、低屈折率材料としては二酸化珪素(SiO2)などを使用すれば対候性の高い光学フィルタを実現できる。
【0039】
次いで、領域分割フィルタの作製方法について説明する。
領域分割型の分光フィルタは、ガラス平板上に多層膜を形成する。多層膜形成方法としてはよく知られる蒸着などの方法を用いればよい。
また、フィルタ領域分割パターンの作製に関しては、多層膜蒸着時にマスクを設けて赤外光フィルタ領域以外は遮蔽しながら蒸着することにより赤外光透過領域を形成することが可能である。
【0040】
次いで、多層膜を用いた分光フィルタ層の効果について説明する。
本実施形態では、多層膜を用いて分光フィルタ層205Bを形成する。このような多層膜を用いれば、任意の分光輝度特性を得ることができる。一般に、カラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。
本実施形態では、多層膜を用いて分光フィルタ層を形成してなるため、光源202の波長と雨滴検出領域51の波長帯域を略一致させることが可能である。
【0041】
図8に示す撮像装置構成と光路の関係を参照して、本発明の第1実施形態に係る画像処理システムについて説明する。
まず、光源の光路について説明する。
光源202は、フロントガラス105面の異物や雨滴を検出するために設置されている。
光源202は、そのフロントガラスの外側面105の正反射光が撮像レンズの光軸と略一致するように、配置される。
【0042】
撮像装置が受光する光線について、図8中の光路A〜Gの標記を用いて説明する。
光路A、A’において、光源202から出射してフロントガラス105を通過した光線Aは、フロントガラス105の撮像装置から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源202としてはアイセーフ帯の波長・光量の光源を選択される。
光路B、B’において、光源202からの出射光のうち、その一部はフロントガラス105に入射するときにその表面で反射される。一般に、その偏光成分はS偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施形態では、上述のように、光学フィルタ205に偏光フィルタ層205hが設けられており、S偏光成分をカットされるようになっているため、不要光が除去することが可能である。
光路C、C’において、光源202からの出射光のうち、フロントガラス105の内側表面で反射されずにフロントガラス105内を透過した光の成分はP偏光成分がS偏光成分に比べて多くなる。
【0043】
このフロントガラス105内に入射した光は、フロントガラス105の外側に雨滴が付着している場合には雨滴内部で多重反射して撮像装置側に向けて再度フロントガラス105内を透過して、撮像装置201の光学フィルタ205に到達する。分光フィルタ層205Aを透過し、続く偏光フィルタ層205hではP偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、この偏光フィルタ層205hをも通過する。このとき雨滴検出領域51には光源202の波長に合わせた赤外光透過フィルタ(分光フィルタ層205B)が形成されているが、この赤外光透過フィルタを透過し、撮像素子206に到達し、雨滴がフロントガラス105面に付着していることが認識できる。
光路Dにおいて、また光源202ではなく、フロントガラスの外側から入射し撮像装置に到達する光のうち、雨滴検出領域51に到達する光は赤外光透過フィルタでその多くがカットされる。このように雨滴検出領域はフロントガラス外側の外乱光もカットされる構成となっている。
光路Eにおいて、雨滴検出領域ではないフィルタ(車両周辺情報検出領域)を通過する光のうち赤外光成分は赤外光カットフィルタにより遮断される。
光路F、F’において、ダッシュボードなどからの映りこみ光は、車両前方撮影や雨滴検出には不要な成分である。これらの光は偏光フィルタ205hによりカットされる。
一方、光路Gにおいて、雨滴検出領域ではないフィルタ(車両周辺情報検出領域)を通過する光は、可視域および赤外光のみ透過するとともに、P偏光成分のみとなり不要光がカットされた状態で撮像素子206に到達し、後述の各種アプリケーション用の信号として検出される。
【0044】
ここで、雨滴検出のための光源配置について説明する。
上述した光源202は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス105への入射角度が設定される。
発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトはフロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に設置された場合、および撮像装置の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラスの法線と光源の光軸がほぼ一致した場合であった。図8に示す構成は、撮像装置と光源のそれぞれの光軸が略平行となるように配置された場合である。
【0045】
ここで、光源の発光方法について説明する。
光源の発光方法としては、連続発光(CW発光とよばれることもある)でもよいし、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期してやれば、外乱光による影響をより小さくできる。
図9は、照射光量と雨滴検出領域輝度値の関係を説明するための図である。
光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着状態を検出することができる。
図9に示すように、雨滴が均一に付着している場合(符号91)は、照射光量の変化に対して輝度値は線形に変化する(符号91a)のに対して、雨滴がまばらに付着している場合(符号92)は照射光量の変化に対して輝度値は非線形に変化する(符号92a)。
【0046】
次に、図10(a)〜図10(c)に示すタイミングチャートを参照して、本実施形態に係る画像処理システムにおける光源発光の変調方法について説明する。
図2に示した光源制御部209は、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御する。
例えば、光源制御部209は、光源202の発光パワーレベルを変化させることにより、フロントガラス105面での照射光量を変化させる。すなわち、光源202の照射光量の調整方法として、図10(a)のように、各フレーム間で発光パワーをPo、Pa、Pb、Pcのように順次に変化させる方法でもよい。
【0047】
また、光源制御部209は、光源202の発光時間の長さを変化させることにより、フロントガラス105面での照射光量を変化させる。すなわち、図10(b)のように、各フレーム間で発光パワーは同一(Po)で、発光時間をt1、t2、t3のように順次に変化させる方法でもよい。
さらに、光源制御部209は、撮像素子206の各フレーム間でパルス数を増加するように制御する。すなわち、図10(c)のように、同一パルス時間t1でマルチパルス発光させ、1フレームのなかでのパルス数を増加させる方法を用いてもよい。
なお、図10では、便宜上、連続するフレームで照射光量を変化させる方法を説明したが、実際には、露光時間の異なる複数の画像を撮影して雨滴を検出したり、車両前方画像を検出したりするため、図10の各フレーム間には雨滴検出ではなく車両前方検出用のフレームが入る。このとき、光源は発光させない、もしくは発光パワーを下げておくことで、不要光の発生を抑制できる。
【0048】
次に、第1実施形態における光源制御部209、信号処理部208および画像解析ユニット102での動作について説明する。
上述したように、光源制御部209が、信号処理部208から入力される画像の水平・垂直同期信号に基づいて、撮像素子206の各フレーム間で光源202に対する変調度を変化するように制御するので、フロントガラス105面での光源202からの照射光量が変化する。
次いで、フロントガラス105の外側の面に付着した異物によって反射された光源202からの光を撮像素子206で撮像する。次いで、撮像素子206は、撮像した画像を電気信号として信号処理部208に出力する。信号処理部208では、撮像素子206から入力された電気信号から画像信号を生成する。
次いで、信号処理部208は、画像データとして、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに画像解析ユニット102へ出力する。
次いで、画像解析ユニット102には、信号処理部208から、画像の水平・垂直同期信号とともに、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号が入力される。
画像解析ユニット102では、フロントガラス105面での光源202からの照射光量の変化に応じて、画像の画素毎の明るさ(輝度)を示すデジタル信号からフロントガラス105面に付着した雨滴の付着度合いを検出する。
【0049】
図11は、本発明の第1実施形態に係る画像処理システムにおける、信号処理部208、光源制御部209および画像処理ユニット102による動作を説明するフローチャートである。
なお、光源制御部209および画像処理ユニット102は、ROM、RAMおよびCPUを有し、CPUがROMに記憶されているプログラムを読み出して実行する。
【0050】
まず、ステップS5では、信号処理部208は、露光時間を固定する。露光時間は1フレーム分の時間を設定することで、1フレーム内の照射光量の変化を検出し易くする。
次いで、ステップS10では、光源制御部209は、光源202、202’をOFF状態に設定する。
次いで、ステップS15では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(0)を取り込む。ここで、画像I(0)は周囲環境から影響を受けている雨滴検出領域51内のバックグランドノイズに相当する。
次いで、ステップS20では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS25では、光源制御部209は、光源202、202’をP=2に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Paに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t1に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を2つに設定する。
【0051】
次いで、ステップS30では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(1)を取り込む。
次いで、ステップS35では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS40では、光源制御部209は、光源202、202’をP=2に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Pcに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t2に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を3つに設定する。
次いで、ステップS45では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(2)を取り込む。
【0052】
次いで、ステップS50では、ステップS5と同様に、信号処理部208は露光時間を固定する。
次いで、ステップS55では、光源制御部209は、光源202、202’をP=3に設定して点灯する。ここで、上述した図10(a)に示すタイミングチャートを採用する場合にはパワー値Poに設定し、上述した図10(b)に示すタイミングチャートを採用する場合には点灯時間t3に設定し、上述した図10(c)に示すタイミングチャートを採用する場合にはパルス数を4つに設定する。
次いで、ステップS60では、画像処理ユニット102は、信号処理部208から雨滴検出領域51の画像I(3)を取り込む。
次いで、ステップS60では、画像処理ユニット102は、I(1)−I(0)、I(2)−I(0)、I(3)−I(0)のそれぞれの傾きm(1)、m(2)、m(3)を算出する。
なお、図9を参照すると、例えば、照射光量P=1のときの画像I(1)から消灯時の画像I(0)を対応する画素毎に減算すると、雨滴の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に0点の位置になる。従って、I(1)−I(0)の傾きm1は、画像{I(1)−I(0)}の全画素の平均値を照射光量Pで除算した値と考えればよい。ここで、画像は1画素につき例えば256階調を有するものである。
【0053】
また、照射光量P=1から3までの値がリニアに変化すると仮定すれば、I(1)−I(0)の傾きm1は、画像{I(1)−I(0)}の全画素の平均値を1で除算した値と考え、また、I(2)−I(0)の傾きm2は、画像{I(2)−I(0)}の全画素の平均値を2で除算した値と考え、さらに、I(3)−I(0)の傾きm3は、画像{I(3)−I(0)}の全画素の平均値を3で除算した値と考えればよい。これにより、傾きm(1)、m(2)、m(3)は、0〜256の範囲内にあることとなる。
ここで、ステップS60において、算出された傾きm(1)、m(2)、m(3)を例えば256で割って、100を掛けた値を雨滴の付着度合M%と考えてもよく、この場合、式(1)のように雨滴の付着度合M%は、
M=(m/256)×100 % (1)
と表すことができる。
【0054】
次いで、ステップS60では、画像処理ユニット102は、m(1)、m(2)、m(3)の何れか1つが閾値mthを超えた場合、ワイパー制御信号を出力する。ここで、閾値mthは0〜256の範囲内の値であればよい。
また、閾値mthに代わって、0〜1の範囲内の閾値Mthであれば、上記式(1)を用いて算出した雨滴の付着度合Mを採用することが可能となる。
さらに、閾値mthや閾値Mthを数段階に設定すれば、この段階に応じてワイパー制御信号にも制御レベルを付加することができるので、雨滴の付着度合に応じてワイパー制御ユニット106の駆動段階を低速、中速、高速というように段階的に早く設定することができる。またこの駆動段階に代わって、間歇動作の休止時間を段階的に短くしていくように設定することができる。
すなわち、図9に示すように、雨滴が均一に付着している場合は、照射光量の変化に対して輝度値は線形(91a)に変化して高くなるので、フロントガラス105面に付着した雨滴の付着度合も高く検出される。これに対して、雨滴がまばらに付着している場合は、照射光量の変化に対して輝度値は非線形(92a)に変化して低くなるので、フロントガラス105面に付着した雨滴の付着度合も低く検出される。
【0055】
上述したように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。
なお、雨滴検出のみではなく、先行車や対向車の検知や、路面領域や白線などの検知を行う場合には、雨滴検出領域の画像取込処理の開始前、及び各雨滴検出領域の画像取込処理(S5〜S15、S20〜S30、S35〜45、S50〜S60)の間に、図4に示した光学フィルタ205の中央部1/2の領域(車両周辺情報検出領域)を用いた配光制御や車両制御用の画像を撮影する処理が入る。
【0056】
次に、具体的な認識結果について説明する。
発明者らが撮影した実験結果を図12に示す。画像下部と上部に雨滴検出領域を設けている。画像中上部は除いた画像となっている。図12(a)は雨滴が付着している場合で、図12(b)は雨滴が付着していない場合に相当する。
画像中の「detection area」と記載されている画面位置ところが雨滴検出領域であり、この領域に雨滴付着時はLED光が入射し、図12(b)のように雨滴が付着していないときは、LED光は検出されない。雨滴が付着されているときは「Rain detected」と表示されるように雨滴を認識している。
また、雨滴が付着していないときは「Rain not detected」ということで認識していない状態を示している。この認識処理はLED受光量の閾値調整により容易に行える。なお閾値は一位に定める必要なく、撮像装置の車両周辺情報を得る領域の露光調整情報などをもとに最適値を算出してやってもよい。
【0057】
次いで、露光量の調整について説明する。
なお、上図では車両周辺情報と雨滴が同時に撮影した画像であるが、本実施形態においては露光時間を異ならせた2枚の画像をとり、雨滴検出用の画像と車両周辺検出用の画像との2枚を生成できる。分光フィルタAのみの領域と、分光フィルタ層AおよびBからなる領域とでは取得光量が異なるが、露光時間の異なる2枚の画像を撮影すればそれぞれの画像について最適な露光で情報を取得することが可能となる。
遠方の画像を撮影する場合は、分光フィルタ層Aのみの領域の部分を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層AおよびB両方を透過する部分を検出しながら自動露光調整すればよい。
分光フィルタ層Aのみの領域は、周辺の光量変化が大きい。カメラが撮影する車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお本実施形態で説明してきた車載カメラにおいては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
一方、分光フィルタ層AおよびBからなる領域については、光源202の異物からの反射光のみを取り込むように設定されてなるため、周辺環境による光量の変化は小さいため、固定露光時間で撮影することも可能である。
【0058】
<第2実施形態>
図13に示す撮像装置構成と光路の関係を参照して、本発明の第2実施形態に係る画像処理システムについて説明する。
第1実施形態では図8に示す撮像装置構成と光路の関係を用いて説明したが、第2実施形態では図13に示す撮像装置構成と光路の関係を用いることを特徴とする。
上述したとおり、フロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に設置された構成であってもよい。図13は、光源202の光軸が図8に示す構成と同様に撮像レンズの光軸に略平行であり、光源202’の光軸はフロントガラス105面の法線に対して撮像装置の光軸と略反対側の位置に配置された状態を示す。
【0059】
平行に入射した光路で反射するものと、下側から斜めで入射する場合とで雨滴の多重反射状態は変わるため、検出できる雨滴の形状が広げられる。なお図13では、図8で説明した光路D〜Gについては便宜上省いている。
第1実施形態では図10(a)〜図10(c)に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第2実施形態でも図10(a)〜図10(c)に示すタイミングチャートを用いることが可能であるため、その説明を省略する。
第1実施形態では光源制御部209、信号処理部208および画像解析ユニット102での動作について説明したが、第2実施形態でも光源制御部209、信号処理部208および画像解析ユニット102での動作は同様であるので、その説明を省略する。
【0060】
ここで、図11に示すフローチャートを参照して、本発明の第2実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、第2実施形態における説明するは、第1実施形態と同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。
【0061】
<第3実施形態>
図14に示す撮像装置構成と光路の関係を参照して、本発明の第3実施形態に係る画像処理システムについて説明する。
第1実施形態では図8に示す撮像装置構成と光路の関係を用いて説明したが、第3実施形態では図14に示す撮像装置構成と光路の関係を用いることを特徴とする。
光源202としてはLDやLEDを用いればよいが、いずれの光源も温度の変化に応じて、その発光パワーが変化する。発光パワーが変化すると雨滴からの反射光量も変化してしまうため、雨滴の付着レベルを誤って検出してしまう。
このような課題に対しては、光源の発光パワーを検出し、フィードバックをかけることが可能である。温度が上がり、発光パワーが低下した場合はもとの発光パワーとなるように調整する。なお後述するとおり、撮像素子が輝度値を検出する1フレームのなかでのフロントガラス105面での照射光量が所定の値になっていればよく、発光パワーの調整方法としては、発光パワーレベルを調整させたり、発光時間を調整させたり、マルチパルス発光させている場合はその発光させるパルス数を調整すればよい。
このようなフロントガラス105面での光源の照射光量を検出する方法としては、図14のようにフロントガラス内側の反射光(光路H)を用いればよい。フロンとガラス内側の反射光は前述のとおりS偏光成分が支配的であるため、偏光フィルタ層にS偏光成分のみを透過する領域205hsを形成(図15)し、該領域の輝度値を検出してやればよい。
【0062】
図15は、光学フィルタの領域分割パターンと検出項目の関係を説明するための図である。
P偏光成分のみを透過する領域(雨滴検出領域)205hpと、S偏光成分のみを透過する領域(モニタ領域)205hsはワイヤグリッドの溝方向を直交させることにより形成できる。
画像解析ユニットは、光源によってフロントガラス105面に照射された光のうち、フロントガラス105面の内側で反射された光の撮像結果を用いて、光源の発光量をモニタすることができる。
【0063】
また、光学フィルタ205は、領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、領域分割型偏光フィルタは、領域分割型分光フィルタの領域を透過した光の一部の領域についてはS偏光成分のみを透過させ、一部の領域外の部分はP偏光成分のみを透過させるように領域分割されたものであり、画像解析ユニットは、領域分割型偏光フィルタのP偏光成分のみを透過させる領域205hpを透過した光を用いてフロントガラス105面の異物検出を行い、S偏光成分のみを透過させる領域205hsを透過した光を用いて光源の発光量をモニタすることができる。
【0064】
第1実施形態では図10(a)〜図10(c)に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第3実施形態でも図10(a)〜図10(c)に示すタイミングチャーを用いることが可能であるため、その説明を省略する。
第1実施形態では光源制御部209、信号処理部208および画像解析ユニット102での動作について説明したが、第3実施形態でも光源制御部209、信号処理部208および画像解析ユニット102での動作は同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。
【0065】
次に、図16に示すフローチャートを参照して、本発明の第3実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、ステップS5、S10、S20、S35、S50、S65、S70については、第1実施形態において説明したので、その説明を省略する。
上述したように、画像解析ユニット102は、図14に示す光源202’によってフロントガラス105面に照射された光のうち、フロントガラス105面の内側で反射された光路Hを通る光が光源パワーモニタ領域205hsを通過した画像を撮像素子205で撮像しておき、この撮像結果を用いて、光源202’の発光量をモニタしている。
【0066】
ステップS115では、画像処理ユニット102は、信号処理部208から雨滴検出領域205hpの画像I(0)を取り込むとともに、信号処理部208から雨滴検出領域205hsの画像R(0)を取り込む。ここで、画像I(0)は周囲環境から影響を受けている雨滴検出領域205hp内のバックグランドノイズに相当する。画像R(0)は周囲環境から影響を受けている雨滴検出領域205hs内のバックグランドノイズに相当する。
ステップS130では、画像処理ユニット102は、信号処理部208から雨滴検出領域205hpの画像I(1)を取り込むとともに、信号処理部208から雨滴検出領域205hsの画像R(1)を取り込む。ステップS145、S160においても同様である。
本フローチャートに示すプログラムを最初に起動するときには、ステップS125では、メモリに記憶された規定値の発光パワーP1を読み出して、光源点灯時のパワーとして設定する。ステップS140、S155においても同様である。
【0067】
一方、2回目以降は、ステップS125では、メモリに記憶された発光パワーP1を読み出して、光源点灯時のパワーとして設定する。同様に、ステップS140においてはP2、ステップS155においてはP3を設定する。
ステップS175では、画像処理ユニット102は、R(1)−R(0)を算出する。すなわち、照射パワーP1のときの画像R(1)から消灯時の画像R(0)を対応する画素毎に減算すると、フロントガラス105の車両室内側からの反射光の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に0点の位置になる。この際に、減算結果の画像{R(1)−R(0)}の全画素の平均値を算出しておき、結果値r(1)とする。
次いで、ステップS180では、画像処理ユニット102は、結果値r(1)が所定発光パワーPの範囲内にある場合にメモリに記憶する。ここで、結果値r(1)は撮像レベルを表しているので、この撮像レベルを発光パワーP1に変換しておく。この最に、撮像レベル−発光パワー変換テーブルを用いればよい。そして、発光パワーP1がP1s<P1<P1eの範囲内にある場合には、発光パワーP1をメモリに記憶する。
【0068】
一方、発光パワーP1がP1<P1sの範囲にある場合には、発光パワーP1が比較的弱い状態にあり、光量ばらつきの原因となる。そこで、発光パワーP1+ΔP1を新たな発光パワーP1とする。また、発光パワーP1がP1e<P1の範囲にある場合には、発光パワーP1が比較的強い状態にあり、光量ばらつきの原因となる。そこで、発光パワーP1−ΔP1を新たな発光パワーP1とする。
そして、このようにして算出された新たな発光パワーP1をメモリに記憶する。これにより、発光パワーP1を補正することができ、光量ばらつきを低減することができる。
ステップS185〜S190、S195〜S200においても、ステップS175〜S180と同様の処理を行う。すなわち、ステップS190では、発光パワーP2がP2s<P2<P2eの範囲内にある場合には、発光パワーP2をメモリに記憶する。また、ステップS200では、発光パワーP3がP3s<P3<P3eの範囲内にある場合には、発光パワーP3をメモリに記憶する。
このようにしてメモリに記憶されたそれぞれの発光パワーPを読み出して、それぞれのステップS125、S140、S155における光源点灯時のパワーとして設定することで、光源パワーにおけるフィードバック制御に利用することができる。
【0069】
<変形例1>
上記第1〜第3実施形態では、画像解析ユニット102を用いて、撮像装置により撮像された画像からフロントガラス105面に付着した雨滴の付着度合いを検出するという処理を行っているが、本発明はこのような場合に限定されるものではなく、同様の処理内容を行う手段を撮像ユニット101内に内蔵させ、直接にワイパー制御ユニット106を作動させてもよい。
【符号の説明】
【0070】
101 撮像ユニット、102 画像解析ユニット、105 フロントガラス、201 撮像装置、202,202’ 光源、204 撮像レンズ、205 光学フィルタ、206 撮像素子、207 センサ基板、208 信号処理部、209 光源制御部
【先行技術文献】
【特許文献】
【0071】
【特許文献1】特許3536738号
【特許文献2】特開2010−204059公報
【特許文献3】特開2005−225250公報
【特許文献4】特開2005−195566公報
【特許請求の範囲】
【請求項1】
フロントガラスに向けて光を照射する光源と、
前記フロントガラスに対して前記光源と同じ側に、
焦点が前記フロントガラスの位置よりも遠方に設定された撮像レンズと、
複数の画素アレイを有する撮像素子と、
前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタと、を備え、
前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、
前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、
前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記制御部は、前記光源の発光パワーレベルを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記制御部は、前記光源の発光時間の長さを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項4】
前記制御部は、前記光源を駆動するパルス数を変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項5】
前記画像解析処理部は、前記光源によって前記フロントガラス面に照射された光のうち、前記フロントガラス面の内側で反射された光の撮像結果を用いて、前記光源の発光量をモニタすることを特徴とする請求項1乃至4の何れか一項記載の画像処理システム。
【請求項6】
前記光学フィルタは、前記領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、
前記領域分割型偏光フィルタは、前記領域分割型分光フィルタの領域を透過した光の一部の領域についてはS偏光成分のみを透過させ、前記一部の領域外の部分はP偏光成分のみを透過させるように領域分割されたものであり、
前記画像解析処理部は、前記領域分割型偏光フィルタのP偏光成分のみを透過させる領域を透過した光を用いてフロントガラス面の異物検出を行い、S偏光成分のみを透過させる領域を透過した光を用いて前記光源の発光量をモニタすることを特徴とする請求項5記載の画像処理システム。
【請求項1】
フロントガラスに向けて光を照射する光源と、
前記フロントガラスに対して前記光源と同じ側に、
焦点が前記フロントガラスの位置よりも遠方に設定された撮像レンズと、
複数の画素アレイを有する撮像素子と、
前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタと、を備え、
前記フロントガラスの外側の面に付着した異物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、
前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、
前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した雨滴の付着度合いを検出する画像解析処理部と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記制御部は、前記光源の発光パワーレベルを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記制御部は、前記光源の発光時間の長さを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項4】
前記制御部は、前記光源を駆動するパルス数を変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項1記載の画像処理システム。
【請求項5】
前記画像解析処理部は、前記光源によって前記フロントガラス面に照射された光のうち、前記フロントガラス面の内側で反射された光の撮像結果を用いて、前記光源の発光量をモニタすることを特徴とする請求項1乃至4の何れか一項記載の画像処理システム。
【請求項6】
前記光学フィルタは、前記領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、
前記領域分割型偏光フィルタは、前記領域分割型分光フィルタの領域を透過した光の一部の領域についてはS偏光成分のみを透過させ、前記一部の領域外の部分はP偏光成分のみを透過させるように領域分割されたものであり、
前記画像解析処理部は、前記領域分割型偏光フィルタのP偏光成分のみを透過させる領域を透過した光を用いてフロントガラス面の異物検出を行い、S偏光成分のみを透過させる領域を透過した光を用いて前記光源の発光量をモニタすることを特徴とする請求項5記載の画像処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−96891(P2013−96891A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−241051(P2011−241051)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]