説明

付着物検出装置及び付着物検出方法

【課題】フロントガラス等に付着する雨滴等からの反射光と外乱光との識別精度を高めることを課題とする。
【解決手段】光源からフロントガラスに向けて光を照射し、フロントガラスに付着する雨滴で反射した反射光を画像センサにより受光して、雨滴の画像を所定の撮像周波数で連続撮像し、撮像した画像に基づいて雨滴を検出する際、上記光源として、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものを用い、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光して、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された画像領域であると判別する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フロントガラス等の板状透明部材上に付着する雨滴等の付着物を撮像し、その撮像画像に基づいて付着物の検出を行う付着物検出装置及び付着物検出方法に関するものである。
【背景技術】
【0002】
特許文献1には、車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラスの表面に付着する雨滴等の液滴及び曇りや塵などの異物(付着物)を検出する画像処理システム(付着物検出装置)が開示されている。この画像処理システムでは、自動車の室内に設置された光源から自車のフロントガラス(板状透明部材)に光を照射し、フロントガラスに照射した光の反射光を撮像素子で受光して画像を撮像する。そして、撮像した画像を解析してフロントガラスに雨滴等の異物が付着しているか否を判別する。具体的には、光源を点灯したときの撮像画像の画像信号に対し、ラプラシアンフィルタ等を用いてエッジ検出処理を行い、雨滴の画像領域と雨滴でない画像領域の境界を強調したエッジ画像を作成する。そして、このエッジ画像に対して一般化ハフ変換を行って円形である画像領域を検出し、検出した円形領域の個数を数え、その個数を雨量に変換して雨量を求める。
【発明の概要】
【発明が解決しようとする課題】
【0003】
撮像素子には、雨滴からの反射光以外にも、対向車両のヘッドライトからの光などの各種外乱光が入力される。上記特許文献1に記載の画像処理システムのような従来の付着物検出装置では、このような外乱光が撮像素子に入力された場合に、雨滴からの反射光と外乱光とを十分に区別して処理することができず、外乱光を雨滴からの反射光であると誤検出してしまう頻度が高いという問題があった。
【0004】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、透明部材上に付着する雨滴等の付着物からの反射光と外乱光との識別精度を高めて、外乱光を付着物からの反射光であると誤検出してしまう頻度が低い付着物検出装置及び付着物検出方法を提供することである。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、透明部材に向けて光を照射する光源と、上記光源から照射された光が上記透明部材に付着する付着物で反射した反射光を、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置と、該撮像装置が撮像した画像に基づいて上記付着物を検出する付着物検出処理手段とを有する付着物検出装置において、上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、上記撮像装置は、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光するものであり、上記付着物検出処理手段は、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする。
【0006】
本発明においては、所定の駆動周波数で駆動する光源から、この駆動周波数に応じて強弱する光が付着物に照射され、その反射光が撮像装置の画像センサに受光される。一方、撮像装置は、所定の撮像周波数で撮像画像を連続撮像する。本発明では、光源の駆動周波数と撮像装置の撮像周波数とが相違するように設定されているので、その相違によって、撮像画像上にはビート(うなり)が現れる。一方、光源から照射された光ではない外乱光は、一般に、光源から照射される光のような短い周期で強弱する光ではなく、撮像装置の撮像周波数との間でビートを発生させることはない。本発明では、このような付着物からの反射光と外乱光との違いを利用し、付着物検出処理において、撮像画像上に生じるビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別する。よって、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【発明の効果】
【0007】
本発明によれば、透明部材上に付着する雨滴等の付着物からの反射光と外乱光との識別精度を高めて、外乱光を付着物からの反射光であると誤検出してしまう頻度が低いという
優れた効果が得られる。
【図面の簡単な説明】
【0008】
【図1】実施形態における車載機器制御システムの概略構成を示す模式図である。
【図2】同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。
【図3】同撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。
【図4】自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図5】無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図6】雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図7】雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図8】同撮像装置の光学フィルタに設けられる前段フィルタの正面図である。
【図9】同撮像装置の撮像画像データの画像例を示す説明図である。
【図10】同撮像装置の詳細を示す説明図である。
【図11】同撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図12】同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。
【図13】構成例1における光学フィルタの層構成を模式的に示す断面図である。
【図14】同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
【図15】(a)は、図14に示す符号A−Aで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。(b)は、図14に示す符号B−Bで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図16】同光学フィルタの雨滴検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
【図17】(a)は、図16に示す符号A−Aで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。(b)は、図16に示す符号B−Bで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図18】雨滴検出に関わる各種光線についての説明図である。
【図19】光学フィルタの雨滴検出用フィルタ部における偏光フィルタ層の各地点でワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。
【図20】実施形態における車両検出処理の流れを示すフローチャートである。
【図21】ブリュースタ角での反射光の偏光状態を示す説明図である。
【図22】(a)は、フロントガラスの外壁面に雨滴が付着しているときの撮像画像を示す説明図である。(b)は、フロントガラスの外壁面に雨滴が付着していないときの撮像画像を示す説明図である。
【図23】実施形態の雨滴検出処理(ローリングシャッタ方式)における駆動周波数(光源周期)と撮像装置の撮像周波数(撮像フレーム周期)との関係を示す説明図である。
【図24】(a)は、雨滴検出用画像領域に雨滴が映し出された様子を示す説明図である。(b)は、雨滴が映し出された画像領域内の拡大図である。
【図25】グローバルシャッタ方式における駆動周波数(光源周期)と撮像装置の撮像周波数(撮像フレーム周期)との関係を示す説明図である。
【図26】(a)は、グローバルシャッタ方式における雨滴検出用画像領域に映し出された雨滴の画像領域内を拡大した拡大図である。(b)は、(a)に示した雨滴画像領域に対応した次の撮像画像における雨滴画像領域内を拡大した拡大図である。
【図27】(a)は、光源駆動周波数が50Hzである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。(b)は、光源駆動周波数が60Hzである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。(c)は、光源駆動周波数が0Hzである場合(すなわち強弱のない光を照射した場合)に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
【図28】実施形態における雨滴検出処理の流れを示すフローチャートである。
【図29】(a)は、ローリングシャッタ方式における雨滴検出用画像領域に映し出された雨滴の画像領域内を拡大した拡大図である。(b)は、(a)に示した雨滴画像領域に対応した次の撮像画像における雨滴画像領域内を拡大した拡大図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る撮像装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
【0010】
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両100に搭載された撮像装置で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
【0011】
本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット101に設けられており、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像装置で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
【0012】
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
【0013】
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
【0014】
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【0015】
図2は、撮像ユニット101の概略構成を示す模式図である。
図3は、撮像ユニット101に設けられる撮像装置200の概略構成を示す説明図である。
撮像ユニット101は、撮像装置200と、光源202と、これらを収容する撮像ケース201とから構成されている。撮像ユニット101は自車両100のフロントガラス105の内壁面側に設置される。撮像装置200は、図3に示すように、撮像レンズ204と、光学フィルタ205と、画像センサ206とから構成されている。光源202は、フロントガラス105に向けて光を照射し、その光がフロントガラス105の外壁面で反射したときにその反射光が撮像装置200へ入射するように配置されている。
【0016】
本実施形態において、光源202は、フロントガラス105の外壁面に付着した付着物(以下、付着物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。フロントガラス105の外壁面に雨滴203が付着していない場合、光源202から照射された光は、フロントガラス105の外壁面と外気との界面で反射し、その反射光が撮像装置200へ入射する。一方、図2に示すように、フロントガラス105の外壁面に雨滴203が付着している場合、フロントガラス105の外壁面と雨滴203との間における屈折率差は、フロントガラス105の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源202から照射された光は、その界面を透過し、撮像装置200には入射しない。この違いによって、撮像装置200の撮像画像データから、フロントガラス105に付着する雨滴203の検出を行う。
【0017】
また、本実施形態において、撮像ユニット101は、図2に示すとおり、撮像装置200や光源202を、フロントガラス105とともに撮像ケース201で覆っている。このように撮像ケース201で覆うことにより、フロントガラス105の内壁面が曇るような状況であっても、撮像ユニット101で覆われたフロントガラス105が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット102が誤解析するような事態を抑制でき、画像解析ユニット102の解析結果に基づく各種制御動作を適切に行うことができる。
【0018】
ただし、フロントガラス105の曇りを撮像装置200の撮像画像データから検出して、例えば自車両100の空調設備を制御する場合には、撮像装置200に対向するフロントガラス105の部分が他の部分と同じ状況となるように、撮像ケース201の一部に空気の流れる通路を形成してもよい。
【0019】
ここで、本実施形態では、撮像レンズ204の焦点位置は、無限遠又は無限遠とフロントガラス105との間に設定している。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置200の撮像画像データから適切な情報を取得することができる。
【0020】
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス105との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高い。
【0021】
図4は、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図5は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合、図4に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図4に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
【0022】
これに対し、無限遠に焦点が合っている場合には、図5に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高い。
【0023】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【0024】
撮像ユニット101の光源202には、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源202は、赤外光領域の波長を有する光を照射するものである。
【0025】
ここで、フロントガラス105で反射した光源202からの赤外波長光を撮像装置200で撮像する際、撮像装置200の画像センサ206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。
【0026】
そこで、本実施形態においては、例えば、図6に示すように光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図7に示すように透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を画像センサ206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源202でなくても、光源202からの光を外乱交と区別することが可能となる。
【0027】
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴203を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
【0028】
図8は、光学フィルタ205に設けられる前段フィルタ210の正面図である。
図9は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ205は、図3に示したように、前段フィルタ210と後段フィルタ220とを光透過方向に重ね合わせた構造となっている。前段フィルタ210は、図8に示すように、車両検出用画像領域213である撮像画像上部2/3に対応する箇所に配置される赤外光カットフィルタ領域211と、雨滴検出用画像領域214である撮像画像下部1/3に対応する箇所に配置される赤外光透過フィルタ領域212とに、領域分割されている。赤外光透過フィルタ領域212には、図6に示したカットフィルタや図7に示したバンドパスフィルタを用いる。
【0029】
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図9に示すように、撮像画像下部を雨滴検出用画像領域214とし、残りの撮像画像上部を車両検出用画像領域213とし、これに対応して前段フィルタ210を領域分割するのが好適である。
【0030】
撮像装置200の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図6に示したカットフィルタや図7に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【0031】
なお、本実施形態では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域214とする場合には、光学フィルタ205の前段フィルタ210の上部を図6に示したカットフィルタや図7に示したバンドパスフィルタで構成することになる。
【0032】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ205の後段フィルタ220に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしている。
【0033】
ただし、本実施形態の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ205の前段フィルタ210において、車両検出用画像領域213に対応する箇所を赤外光カットフィルタ領域211としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【0034】
図10は、本実施形態における撮像装置200の詳細を示す説明図である。
この撮像装置200は、主に、撮像レンズ204と、光学フィルタ205と、2次元配置された画素アレイを有する画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。被写体(検出対象物)を含む撮像領域からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、画像センサ206でその光強度に応じた電気信号に変換される。信号処理部208では、画像センサ206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【0035】
図11は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板207が形成されている。
【0036】
画像センサ206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。光学フィルタ205の後段フィルタ220は、図11に示すように、透明なフィルタ基板221上に偏光フィルタ層222と分光フィルタ層223を順次形成して積層構造としたものである。偏光フィルタ層222と分光フィルタ層223は、いずれも、画像センサ206上における1つのフォトダイオード206Aに対応するように領域分割されている。
【0037】
光学フィルタ205と画像センサ206との間に空隙がある構成としてもよいが、光学フィルタ205を画像センサ206に密着させる構成とした方が、光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の各領域の境界と画像センサ206上のフォトダイオード206A間の境界とを一致させやすくなる。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
【0038】
図12は、本実施形態に係る光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の領域分割パターンを示す説明図である。
偏光フィルタ層222と分光フィルタ層223は、それぞれ、第1領域及び第2領域という2種類の領域が、画像センサ206上の1つのフォトダイオード206Aに対応して配置されたものである。これにより、画像センサ206上の各フォトダイオード206Aによって受光される受光量は、受光する光が透過した偏光フィルタ層222と分光フィルタ層223の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
【0039】
なお、本実施形態では、画像センサ206はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ206をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層222と分光フィルタ層223の各領域の光透過特性を調整してやればよい。
【0040】
ここで、本実施形態における光学フィルタ205の一例について説明する。
図13は、本実施形態における光学フィルタ205の層構成を模式的に示す断面図である。
本実施形態における光学フィルタ205の後段フィルタ220は、車両検出用画像領域213に対応する車両検出用フィルタ部220Aと、雨滴検出用画像領域214に対応する雨滴検出用フィルタ部220Bとで、その層構成が異なっている。具体的には、車両検出用フィルタ部220Aは分光フィルタ層223を備えているのに対し、雨滴検出用フィルタ部220Bは分光フィルタ層223を備えていない。また、車両検出用フィルタ部220Aと雨滴検出用フィルタ部220Bとでは、その偏光フィルタ層222,225の構成が異なっている。
【0041】
図14は、本実施形態における光学フィルタ205の車両検出用フィルタ部220Aを透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図15(a)は、図14に示す符号A−Aで切断した光学フィルタ205の車両検出用フィルタ部220A及び画像センサ206を模式的に表した断面図である。
図15(b)は、図14に示す符号B−Bで切断した光学フィルタ205の車両検出用フィルタ部220A及び画像センサ206を模式的に表した断面図である。
【0042】
本実施形態における光学フィルタ205の車両検出用フィルタ部220Aは、図15(a)及び(b)に示すように、透明なフィルタ基板221の上に偏光フィルタ層222を形成した後、その上に分光フィルタ層223を形成して積層構造としたものである。そして、偏光フィルタ層222は、ワイヤーグリッド構造を有するものであり、その積層方向上面(図15中下側面)は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層223を形成しようとすると、分光フィルタ層223がその凹凸面に沿って形成され、分光フィルタ層223の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ205は、偏光フィルタ層222の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層223を形成している。
【0043】
充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層222の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。
【0044】
本実施形態において、偏光フィルタ層222の第1領域は、画像センサ206の撮像画素の縦列(鉛直方向)に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層222の第2領域は、画像センサ206の撮像画素の横列(水平方向)に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層223の第1領域は、偏光フィルタ層222を透過可能な使用波長帯域に含まれる赤色波長帯(特定波長帯)の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層223の第2領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図14に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの撮像画素(符号a、b、e、fの4撮像画素)によって撮像画像データの1画像画素が構成される。
【0045】
図14に示す撮像画素aでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素aは、鉛直偏光成分(図14中符号Pで示す。)の赤色波長帯(図14中符号Rで示す。)の光P/Rを受光することになる。
また、図14に示す撮像画素bでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、鉛直偏光成分Pにおける非分光(図14中符号Cで示す。)の光P/Cを受光することになる。
また、図14に示す撮像画素eでは、光学フィルタ205の偏光フィルタ層222における水平偏光領域(第2領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素eは、水平偏光成分(図14中符号Sで示す。)における非分光Cの光S/Cを受光することになる。
図14に示す撮像画素fでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素fは、撮像画素aと同様、鉛直偏光成分Pにおける赤色波長帯Rの光P/Rを受光することになる。
【0046】
以上の構成により、本実施形態によれば、撮像画素aおよび撮像画素fの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素bの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素eの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。
【0047】
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素aと撮像画素fに対応する画像画素についてはこれらの撮像画素a,fで受光した赤色光の鉛直偏光成分Pの情報をそのまま使用し、撮像画素bに対応する画像画素については、例えばその周囲を取り囲む撮像画素a,c,f,jの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素eに対応する画像画素についてはこの撮像画素eで受光した非分光の水平偏光成分Sの情報をそのまま使用し、撮像画素a,b,fに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素eや撮像画素gなどの平均値を使用したり、撮像画素eと同じ値を使用したりしてもよい。
【0048】
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射した赤色光や自車両100の室内におけるダッシュボードなどからの赤色光(映りこみ光)等のように水平偏光成分Sの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
【0049】
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両100の室内におけるダッシュボードなどからの白色光(映りこみ光)等のように水平偏光成分Sの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Sが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
【0050】
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率(差分偏光度)を画素値とした差分偏光度画像などを使用することができる。
【0051】
図16は、本実施形態における光学フィルタ205の雨滴検出用フィルタ部220Bを透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図17(a)は、図16に示す符号A−Aで切断した光学フィルタ205の雨滴検出用フィルタ部220B及び画像センサ206を模式的に表した断面図である。
図17(b)は、図16に示す符号B−Bで切断した光学フィルタ205の雨滴検出用フィルタ部220B及び画像センサ206を模式的に表した断面図である。
【0052】
本実施形態における光学フィルタ205の雨滴検出用フィルタ部220Bは、図17(a)及び(b)に示すように、上記車両検出用フィルタ部220Aと共通のフィルタ基板221の上にワイヤーグリッド構造の偏光フィルタ層225が形成されている。この偏光フィルタ層225は、上記車両検出用フィルタ部220Aの偏光フィルタ層222とともに、積層方向上面側が充填材によって充填されて平坦化されている。ただし、雨滴検出用フィルタ部220Bは、上記車両検出用フィルタ部220Aとは異なり、分光フィルタ層223は積層されていない。
【0053】
本実施形態においては、自車両100の室内側の風景がフロントガラス105の内壁面に映り込むことがある。この映り込みは、フロントガラス105の内壁面で正反射した光によるものである。この映り込みは、正反射光であるのでその光強度が比較的大きい外乱光である。よって、この映り込みが雨滴と一緒に雨滴検出用画像領域214に映し出されると、雨滴の検出精度が低下する。また、光源202からの光がフロントガラス105の内壁面で正反射した正反射光も、雨滴と一緒に雨滴検出用画像領域214に映し出されると、外乱光となって雨滴の検出精度を低下させる。
【0054】
このような雨滴の検出精度を低下させる外乱光は、フロントガラス105の内壁面で正反射した正反射光であるので、その偏光成分のほとんどは光源入射面に対して偏光方向が垂直な偏光成分、すなわち、画像センサ206の撮像画素の横列(水平方向)に平行に振動する水平偏光成分Sである。そこで、本実施形態の光学フィルタ205の雨滴検出用フィルタ部220Bにおける偏光フィルタ層225は、フロントガラス105に向かう光源202からの光の光軸と撮像レンズ204の光軸とを含む仮想面(光源入射面)に対して偏光方向が平行である偏光成分、すなわち、画像センサ206の撮像画素の縦列(鉛直方向)に平行に振動する鉛直偏光成分Pのみを透過するように透過軸が設定されている。
【0055】
これにより、雨滴検出用フィルタ部220Bの偏光フィルタ層225を透過する光は、鉛直偏光成分Pのみとなり、フロントガラス105の内壁面の映り込みや、フロントガラス105の内壁面で正反射した光源202からの正反射光などの外乱光の大部分を占める水平偏光成分Sをカットすることができる。その結果、雨滴検出用画像領域214は、外乱光による影響の少ない鉛直偏光成分Pによる鉛直偏光画像となり、その雨滴検出用画像領域214の撮像画像データに基づく雨滴の検出精度が向上する。
【0056】
本実施形態では、前段フィルタ210を構成する赤外光カットフィルタ領域211と赤外光透過フィルタ領域212とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ210の製造方法としては、赤外光カットフィルタ領域211の部分をマスクで隠しながら赤外光透過フィルタ領域212の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域212の部分をマスクで隠しながら赤外光カットフィルタ領域211の部分を真空蒸着などにより成膜するという方法が挙げられる。
【0057】
また、本実施形態において、車両検出用フィルタ部220Aの偏光フィルタ層222と、雨滴検出用フィルタ部220Bの偏光フィルタ層225とは、いずれも、2次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層222は透過軸が互いに直交する2種類の領域(鉛直偏光領域及び水平偏光領域)が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層225は鉛直偏光成分Pのみを透過させる透過軸をもつ1種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層222,225を同一のフィルタ基板221上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート(型に相当するもの)の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。
【0058】
なお、本実施形態では、赤外光カットフィルタ領域211を光学フィルタ205に設けず、例えば、撮像レンズ204に赤外光カットフィルタ領域211を設けてもよい。この場合、光学フィルタ205の作製が容易となる。
また、赤外光カットフィルタ領域211に代えて、後段フィルタ220の雨滴検出用フィルタ部220Bに鉛直偏光成分Pのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ210には赤外光カットフィルタ領域211を形成する必要はない。
【0059】
図18は、雨滴検出に関わる各種光線についての説明図である。
光源202は、フロントガラス105の外壁面での正反射光が撮像レンズ204の光軸と略一致するように配置されている。
【0060】
図18中の光線Aは、光源202から出射してフロントガラス105を通過する光線である。フロントガラス105の外壁面に雨滴203が付着していない場合、光源202からフロントガラス105に向けて照射された光は、光線Aのように、フロントガラス105を透過してそのまま自車両100の外部に漏れ出る。そのため、光源202としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図18に示すように、光源202からフロントガラス105に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。
【0061】
図18中の光線Bは、光源202からの出射光がフロントガラス105の内壁面で正反射して撮像装置200へ入射する光線である。光源202からフロントガラス105へ向かう光の一部はフロントガラス105の内壁面で正反射する。この正反射光(光線B)の偏光成分は、一般に、その入射面に対して直交する方向(図18の紙面に対して垂直な方向)に振動するS偏光成分(水平偏光成分S)が支配的であることが知られている。光源202から照射されてフロントガラス105の内壁面で正反射した正反射光(光線B)は、フロントガラス105の外壁面に付着する雨滴203の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施形態では、光線B(水平偏光成分S)が雨滴検出用フィルタ部220Bの偏光フィルタ層225によってカットされるので、この光線Bによって雨滴検出精度が低下することを抑制できる。
【0062】
図18中の光線Cは、光源202からの出射光がフロントガラス105の内壁面を透過し、その後、フロントガラス105の外壁面に付着する雨滴で反射して撮像装置200へ入射する光線である。光源202からフロントガラス105へ向かう光の一部はフロントガラス105の内壁面を透過するが、その透過光は水平偏光成分Sよりも鉛直偏光成分Pの方が多い。そして、フロントガラス105の外壁面上に雨滴203が付着している場合、フロントガラス105の内壁面を透過した光は、上記光線Aのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像装置200側に向けて再度フロントガラス105内を透過し、撮像装置200に入射する。このとき、撮像装置200の光学フィルタ205における前段フィルタ210の赤外光透過フィルタ領域212は、光源202の発光波長(赤外光)を透過させるように構成されているので、光線Cは赤外光透過フィルタ領域212を通過する。また、続く後段フィルタ220の雨滴検出用フィルタ部220Bの偏光フィルタ層225は、鉛直偏光成分Pを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Cは偏光フィルタ層225も透過する。よって、光線Cは、画像センサ206に到達し、その受光量によって雨滴の検出が行われる。
【0063】
図18中の光線Dは、フロントガラス105の外部からフロントガラス105を透過して撮像装置200の雨滴検出用フィルタ部220Bに向かって入射してくる光線である。この光線Dも雨滴検出時の外乱光となり得るが、本実施形態では、その光線Dの大部分が、光学フィルタ205における前段フィルタ210の赤外光透過フィルタ領域212によってカットされる。よって、この光線Dによって雨滴検出精度が低下することも抑制できる。
【0064】
図18中の光線Eは、フロントガラス105の外部からフロントガラス105を透過して撮像装置200の車両検出用フィルタ部220Aに向かって入射してくる光線である。この光線Eは、光学フィルタ205における前段フィルタ210の赤外光カットフィルタ領域211によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。
【0065】
なお、本実施形態では、光源202が1つである場合について説明したが、光源202は複数配置してもよい。その場合、雨滴検出用フィルタ部220Bの偏光フィルタ層225は、その透過軸方向が互いに異なる複数の偏光フィルタ領域を、撮像素子単位で、撮像画素の2次元配列方向へ繰り返されるように領域分割したものを用いる。そして、各偏光フィルタ領域は、複数の光源202のうち当該偏光フィルタ領域への入射光量が最も多い光源からの光の光軸と撮像レンズ204の光軸とを含む仮想面に対して偏光方向が平行である偏光成分のみを透過するように透過軸を設定する。
【0066】
また、光源202が1つである場合でも複数である場合でも、フロントガラス105の内壁面で正反射した外乱光を適切に除去できる偏光フィルタ層225の透過軸方向は、偏光フィルタ層225の各地点に入射してくる外乱光のフロントガラス内壁面上の反射地点に応じて変わる。自動車のフロントガラス105は、空力特性向上のために、前方に向かって下方へ傾斜しているだけでなく、左右方向において中央部から両端部に向けて後方へ大きく湾曲しているためである。このような場合、撮像画像の雨滴検出用画像領域214において、画像中央部では外乱光を適切にカットできても、画像端部では外乱光を適切にカットできないという事態が起こり得る。
【0067】
図19は、偏光フィルタ層225の各地点(ポイント1〜3)で、ワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。
このような構成とすることにより、撮像画像の雨滴検出用画像領域214の全域で外乱光を適切にカットすることが可能となる。
【0068】
なお、本実施形態の光学フィルタ205は、図14に示したように領域分割された偏光フィルタ層222及び分光フィルタ層223を有する後段フィルタ220が、前段フィルタ210よりも画像センサ206側に設けられているが、前段フィルタ210を後段フィルタ220よりも画像センサ206側に設けてもよい。
【0069】
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図20は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置200が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
【0070】
まず、ステップS1では、撮像装置200の画像センサ206によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ206の各撮像画素における輝度を示す信号を含む。次に、ステップS2では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。
【0071】
ステップS3では、メモリに取り込まれた画像データから検出対象物(先行車両のテールランプ及び対向車両のベッドランプ)であると思われる輝度の高い画像領域(高輝度画像領域)を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
【0072】
高輝度画像領域抽出処理では、まず、ステップS31において、画像センサ206上の各撮像画素の輝度値を所定の閾値輝度と比較することにより2値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、ステップS32において、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、1つの高輝度画像領域として抽出される。
【0073】
上述した高輝度画像領域抽出処理の後に実行されるステップS4では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右1対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
【0074】
まず、ペアランプ距離算出処理のために、ステップS41では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置200が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップS42のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置200における焦点距離fは既知であるため、撮像装置200の画像センサ206上の左右ランプ距離w1を算出することにより、ペアランプまでの実際の距離xは、単純な比例計算(x=f・w0/w1)により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
【0075】
ステップS5では、鉛直偏光成分Pの赤色画像と鉛直偏光成分Pの白色画像との比率(赤色輝度比率)を分光情報として用い、この分光情報から、ペアランプとされた2つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップS51において、ペアランプとされた高輝度画像領域について、画像センサ206上の撮像画素a,fに対応した画素データと画像センサ206上の撮像画素bに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップS52において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
【0076】
続いて、ステップS6では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度((S−P)/(S+P))を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップS61において、テールランプ画像領域について差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップS62において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
【0077】
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。また、運転者(ドライバー)がワイパーを稼働している場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理S6を実行するようにしてもよい。
【0078】
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
【0079】
〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線(区画線)を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
【0080】
本実施形態における白線検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の鉛直偏光成分Pの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、上記構成例2における光学フィルタ205を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。
【0081】
本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分(非分光)の鉛直偏光成分Pの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分(非分光)の鉛直偏光成分Pの画像は、水平偏光成分Sがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。
【0082】
また、本実施形態における白線検出処理において、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報、例えば、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Pと水平偏光成分Sとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。
【0083】
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う目的で、検出対象物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
【0084】
本実施形態における雨滴検出処理では、撮像ユニット101から取得することができる情報のうち、前段フィルタ210の赤外光透過フィルタ領域212及び後段フィルタ220の雨滴検出用フィルタ部220Bにおける偏光フィルタ層225を透過した光を受光する雨滴検出用画像領域214の鉛直偏光成分Pの偏光情報を用いる。
【0085】
図21は、ブリュースタ角での反射光の偏光状態を示す説明図である。
一般に、ガラスなどで平坦面に光が入射するとき、水平偏光成分Sの反射率は入射角に対して単調増加するのに対し、鉛直偏光成分Pの反射率は特定角度(ブリュースタ角θB)でゼロとなり、鉛直偏光成分Pは、図21に示すように反射せずに透過光のみとなる。したがって、光源202が、鉛直偏光成分Pの光のみをブリュースタ角θBの入射角をもって車両室内側からフロントガラス105に向けて照射するように構成することで、フロントガラス105の内壁面(室内側の面)での反射光は発生せず、フロントガラス105の外壁面(車外側の面)に鉛直偏光成分Pの光が照射される。フロントガラス105の内壁面での反射光が存在すると、その反射光が撮像装置200への外乱光となり、雨滴検出率の低減要因となる。
【0086】
光源202からフロントガラス105へ入射させる光を鉛直偏光成分Pのみとするためには、光源202として例えば発光ダイオード(LED)を用いる場合、その光源202とフロントガラス105との間に、鉛直偏光成分Pのみを透過させる偏光子を配置するのがよい。また、光源202として半導体レーザ(LD)を用いる場合、LDは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Pのみの光がフロントガラス105に入射するようにLDの軸を合わせてもよい。
【0087】
図22(a)は、フロントガラス105の外壁面に雨滴が付着しているときの撮像画像を示す説明図である。
図22(b)は、フロントガラス105の外壁面に雨滴が付着していないときの撮像画像を示す説明図である。
図22(a)及び(b)の撮像画像は、図中下部の領域が雨滴検出用画像領域214であり、残りが車両検出用画像領域213である。雨滴検出用画像領域214には、雨滴が付着しているときは図22(a)に示すように光源202からの光が映し出され、雨滴が付着していないときは図22(b)に示すように光源202からの光が映し出されない。したがって、この雨滴検出用画像領域214における雨滴画像の認識処理は、光源202からの光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置200が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。例えば、撮像装置200の露光調整情報などをもとに最適値を算出して、閾値を変更してもよい。
【0088】
本実施形態においては、光学フィルタ205における前段フィルタ210の赤外光透過フィルタ領域212によって、フロントガラス105の外部からフロントガラス105を透過して撮像装置200の雨滴検出用フィルタ部220Bに向かって入射してくる可視光等の赤外光以外の光がカットされる。これにより、フロントガラス105の外部から入射してくる外乱光が減り、そのような外乱光による雨滴検出精度の低下を抑制している。
さらに、本実施形態においては、雨滴検出用フィルタ部220Bの偏光フィルタ層225を透過する光は、鉛直偏光成分Pのみとなり、フロントガラス105の内壁面の映り込みや、フロントガラス105の内壁面で正反射した光源202からの正反射光などの外乱光の大部分を占める水平偏光成分Sもカットされる。これにより、そのような外乱光による雨滴検出精度の低下も抑制されている。
【0089】
しかしながら、このようにして光学フィルタ205の赤外光透過フィルタ領域212や偏光フィルタ層225により外乱光をカットしても、フロントガラス105の外部から入射してくる赤外光などの外乱光によって雨滴検出精度が低下する場合がある。そこで、本実施形態では、光学フィルタ205ではカットできない外乱光と雨滴からの反射光とを区別するために、以下のような画像処理を実施する。
【0090】
具体的な雨滴検出処理を説明する前に、本実施形態において、光学フィルタ205ではカットできない外乱光と雨滴からの反射光とを区別することができるメカニズムについて説明する。
図23は、本実施形態における光源202の駆動周波数(光源周期)と、撮像装置200が撮像画像を連続撮像するときの撮像周波数(撮像フレーム周期)との関係を示す説明図である。
本実施形態の光源202は、所定の駆動周波数(本実施形態では一例として100Hzであるとする。)で駆動し、この駆動周波数に応じて強弱する光が照射される。一方、本実施形態の撮像装置200は、所定の撮像周波数(本実施形態では一例として30Hzであるとする。)で撮像画像を連続撮像し、その撮像周波数に対応する撮像フレーム周期(33.3ms)ごとに1枚ずつ撮像画像を得ることができる。
【0091】
本実施形態において、光源202の駆動周波数(以下「光源駆動周波数」という。)と撮像装置200の撮像周波数との関係は、一方が他方の整数倍から外れるように設定されている。そのため、図23に示すように、前回の撮像開始時と最新の撮像開始時とでは、光源202から照射される光の強度が異なる。その結果、光源202から照射される光の反射光は、同一地点(雨滴)で反射したものであっても、前回の撮像画像と最新の撮像画像との間で異なった受光量で撮像装置200の画像センサに受光される。一方、光源202から照射された光ではない外乱光は、通常、光源202から照射される光のような短い周期で強弱する光ではない。そのため、このような外乱光は、前回の撮像画像と最新の撮像画像との間で、撮像装置200の画像センサに受光される受光量に差がない。
【0092】
したがって、このような雨滴からの反射光と外乱光との違いにより、これらを区別することができる。具体的には、前回の撮像画像と最新の撮像画像との間で受光量に違いがあれば、その画像領域は雨滴を映し出した領域であり、前回の撮像画像と最新の撮像画像との間で受光量に違いがない画像領域は、一定量の光を受光している領域であっても、雨滴を映し出していない領域であると判別できる。
【0093】
ここで、本実施形態の撮像装置200は、ローリングシャッタ方式を採用しており、画像センサ上の水平方向に延びる画像ライン単位で、所定の信号取得周波数で画像データを取得する。そのため、単一の撮像画像中において、雨滴を映し出した画像領域(光源202からの光が雨滴で反射した反射光を受光した領域)には、図24(b)に示すように、画像ラインの配列方向(鉛直方向)に、信号取得周波数と光源駆動周波数との違いによって生じるビートの周期で、受光量の強弱を表わす濃淡の縞模様が現れる。このとき、前回の撮像画像と最新の撮像画像との間で受光量の違いを判断する検出単位領域について、画像センサの撮像画素の縦列方向(鉛直方向)における長さ(画像ライン数)を、上述した縞模様の周期に対応した画像ライン数に一致するように設定した場合、前回の撮像画像と最新の撮像画像との間で検出単位領域内の受光量の総量あるいは平均値が同じとなる。この場合、前回の撮像画像と最新の撮像画像との間で受光量の違いを検出するための処理が複雑化する。よって、図24(b)に示すように、検出単位領域における撮像画素縦列方向の長さ(画像ライン数)が、縞模様の周期を画像ライン数に換算した値よりも小さくなるように、検出単位領域を設定するのが好ましい。
【0094】
なお、ローリングシャッタ方式を採用した場合、上述したように、単一の撮像画像中に、信号取得周波数と光源駆動周波数との違いによって生じるビートの周期で、受光量の強弱を表わす濃淡の縞模様が現れる。よって、このビートを検出すれば、単一の撮像画像だけでも、雨滴を映し出している領域を判別することが可能である。
【0095】
なお、本実施形態の撮像装置200としては、ローリングシャッタ方式ではなく、図25に示すようなグローバルシャッタ方式を採用してもよい。この場合、ローリングシャッタ方式のように単一撮像画像中に濃淡の縞模様が現れることはないが、光源駆動周波数と撮像周波数との関係が互いの整数倍から外れる設定であれば、図26(a)及び(b)に示すように、雨滴を映し出した画像領域(光源202からの光が雨滴で反射した反射光を受光した領域)では、前回の撮像画像と最新の撮像画像との間で受光量の違いが現れる。
【0096】
図27(a)は、光源駆動周波数が50Hzである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
図27(b)は、光源駆動周波数が60Hzである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
図27(c)は、光源駆動周波数が0Hzである場合(すなわち、強弱のない光を照射した場合)に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
【0097】
図27(a)に示すように光源駆動周波数が50Hzである場合、撮像周波数(30Hz)との差が比較的小さいので、画素値の平均値の変化周期が短い。一方、図27(b)に示すように光源駆動周波数が60Hzである場合、撮像周波数(30Hz)との差が比較的大きいので、画素値の平均値の変化周期が長くなっている。比較データとして、図27(c)に示すように光源駆動周波数が0Hzである場合すなわち強弱のない光を照射した場合には、画像上にビートが生じないので、画素値の平均値に変化が現れない。
【0098】
以下、本実施形態における雨滴検出処理の内容について具体的に説明する。
図28は、本実施形態における雨滴検出処理の流れを示すフローチャートである。
撮像ユニット101の撮像装置200から撮像画像データが入力されると、画像解析ユニット102は、フレーム数データのカウント値を1つ加算した後(S71)、付着物検出処理手段として機能して、雨滴検出用画像領域214を複数の領域に区分して得られる単位画像領域(検出単位領域)ごとに、その検出単位領域内の画素値の平均値(以下「画素平均値」という。)を算出する(S72)。
【0099】
画像解析ユニット102には、所定の撮像周波数(30Hz)で連続撮像される雨滴検出用画像領域214の画像データが順次入力されてくる。画像解析ユニット102は、少なくとも最新の撮像画像(雨滴検出用画像領域214の画像)の画像データと、前回又はそれ以前に撮像された撮像画像の画像データとを、所定の画像メモリに記憶する。本実施形態では、図29(b)に示すような最新の撮像画像データと図29(a)に示すような前回の撮像画像データとを画像メモリに記憶し、これらの撮像画像データ間で比較処理を行う。
【0100】
具体的には、上記ステップS72で算出した画素平均値について、検出単位領域ごとに、最新の撮像画像データと前回の撮像画像データとの間で差分値を算出する(S73)。そして、検出単位領域ごとに算出した各差分値の累積値が所定の閾値を超えているか否かを判断し(S74)、当該閾値を超えていると判断されたら雨滴付着画像数データのカウント値を1つ加算する(S75)。当該閾値を超えていなと判断されたら雨滴付着画像数データのカウント値は加算しない。
【0101】
10個の撮像画像データについて上述したステップS71〜S75の処理を繰り返し行い、フレーム数データのカウント値が10に達したら(S76のYes)、次に、雨滴付着画像数データのカウント値が所定の雨滴検出閾値(本実施形態では一例として「8」であるとする。)を超えているか否かを判断する(S77)。その結果、雨滴付着画像数データのカウント値が所定の雨滴検出閾値を超えていると判断した場合には、雨滴検出カウントデータのカウント値を1つ加算する(S78)。その後、フレーム数データと雨滴付着画像数データのカウント値をゼロにリセットして(S79)、次の雨滴検出処理に移行する。
【0102】
このように、本実施形態では、連続して撮像される10枚の撮像画像単位で雨滴検出処理が繰り返し行われ、各雨滴検出処理での雨滴の有無の検出結果が雨滴検出カウントデータにカウントされていく。ワイパー制御ユニット106は、例えば、この雨滴検出カウントデータが所定の条件(連続して10個カウントされた場合など)を満たしたときに、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う。
【0103】
なお、雨滴検出カウントデータのカウント値がゼロの状態から1が加算された場合、撮像装置200の撮像周波数を増やす制御を行ってもよい。これにより、雨滴が最初に検出されるまでは、撮像装置200を相対的に低い撮像周波数で撮像させ、軽い処理負荷で継続処理させることができる。一方、雨滴が最初に検出されたときは、雨の降り始めである可能性が高く、その後は雨滴が付着する可能性が高い状況にあるといえる。よって、雨滴が最初に検出されてから撮像周波数を増やすことで、雨滴が付着する可能性が高い状況において、より短い時間でより多くの雨滴検出処理を繰り返すことができるようになり、雨滴の有無をより早期のうちに把握できるようになる。
【0104】
また、雨滴検出用画像領域214に雨滴画像領域が映し出されたときの画像センサからの画像データが飽和値を示している場合には、光源202の光照射強度を下げるように調整するのが好ましい。これにより、雨滴からの反射光の検出精度を落とすことなく、ノイズ成分を減らすことができ、雨滴の検出精度が向上する。
【0105】
本実施形態における雨滴検出処理の効果を確認するため、単に雨滴検出用画像領域214に所定の閾値を超える受光量が検出された画像領域を雨滴画像領域として検出するという比較例と比較した効果確認試験について説明する。
本効果確認試験は、フロントガラスに雨滴が付着している状態と雨滴が付着していない状態のそれぞれについて、実際に車道を走行して雨滴検出処理を行ったものである。この効果確認試験では、1000枚の撮像画像を連続して撮像し、10枚の撮像画像を一検出単位として、最大100回の雨滴の有無を検出した。なお、比較例においては、10枚の撮像画像中に8枚の撮像画像で閾値を超える受光量が検出されたときに雨滴が付着していると判断するようにしている。
【0106】
下記の表1は、対向車のヘッドランプからの外乱光がない昼間に行った効果確認試験の結果を示すものである。
表1からわかるように、本実施形態と比較例のいずれも、フロントガラスに雨滴が付着している状況では、100回中100回とも雨滴が付着していると検出できている。一方、フロントガラスに雨滴が付着していない状況を比較してみると、比較例は、100回中5回誤検出しているのに対し、本実施形態では、100回中1回しか誤検出していない。
【0107】
下記の表2は、対向車のヘッドランプからの外乱光が入射する夜間に行った効果確認試験の結果を示すものである。
表2からわかるように、本実施形態と比較例のいずれも、フロントガラスに雨滴が付着している状況では、100回中100回とも雨滴が付着していると検出できている。一方、フロントガラスに雨滴が付着していない状況を比較してみると、比較例は、100回中8回誤検出しているのに対し、本実施形態では、100回中2回しか誤検出していない。
【0108】
このように、本実施形態によれば、昼間でも、対向車のヘッドランプからの外乱光が入射する分だけ昼間よりも雨滴検出精度が落ちやすい夜間でも、比較例に対して高い雨滴検出精度を得ることができる。
【0109】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
フロントガラス105等の透明部材に向けて光を照射する光源202と、上記光源から照射された光が上記透明部材に付着する雨滴等の付着物で反射した反射光を、受光素子206Aが2次元配置された撮像画素アレイで構成された画像センサ206により受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置200と、該撮像装置が撮像した画像に基づいて上記付着物を検出する画像解析ユニット102等の付着物検出処理手段とを有する付着物検出装置において、上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、上記撮像装置は、上記反射光を選択して透過させる光学フィルタ205を通じて上記反射光を上記画像センサで受光するものであり、上記付着物検出処理手段は、上記撮像周波数(30Hz)と上記駆動周波数(100Hz)との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする。
これによれば、光源の駆動周波数と撮像装置の撮像周波数との相違によって、光源から照射されて付着物で反射した反射光の画像領域については撮像画像上でビート(うなり)が生じる。一方、光源から照射された光ではない外乱光は、一般に、光源から照射される光のような短い周期で強弱する光ではなく、撮像装置の撮像周波数との間でビートを発生させることはない。したがって、このような付着物からの反射光と外乱光との違いを利用して、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【0110】
(態様B)
上記態様Aにおいて、上記駆動周波数及び上記撮像周波数の一方が他方の整数倍から外れるように設定されていることを特徴とする。
これによれば、安定してビートを生じさせることができる。
【0111】
(態様C)
上記態様A又はBにおいて、上記光源は、赤外光等の特定波長帯の光を照射するものであり、上記光学フィルタは、上記特定波長帯を選択して透過させる赤外光透過フィルタ領域212等の光学フィルタを含むことを特徴とする。
これによれば、付着物からの反射光の波長帯(光源が照射する特定波長帯)から外れた波長帯の外乱光を光学フィルタで事前にカットできるので、付着物からの反射光と外乱光との識別精度をより高めることができる。
【0112】
(態様D)
上記態様A〜Cのいずれかの態様において、上記光学フィルタは、鉛直偏光成分P等の特定の偏光成分を選択して透過させる偏光フィルタ層225等の光学フィルタを含むことを特徴とする。
これによれば、フロントガラス105の内壁面の映り込みや、フロントガラス105の内壁面で正反射した光源からの正反射光などの外乱光の大部分を占める水平偏光成分Sを事前にカットすることができるので、付着物からの反射光と外乱光との識別精度をより高めることができる。
【0113】
(態様E)
上記態様A〜Dのいずれかの態様において、上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像を比較して上記ビートを検出することを特徴とする。
これによれば、1枚の画像では上記ビートを精度よく検出できない場合であっても、当該複数の画像を比較することで、上記ビートを精度よく検出することができる。
【0114】
(態様F)
上記態様Eにおいて、上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像間の差分情報に基づいて上記ビートを検出することを特徴とする。
これによれば、簡易な演算処理で、上記ビートを精度よく検出することができる。
【0115】
(態様G)
上記態様E又はFにおいて、上記撮像装置は、上記画像センサ上の1又は2以上の画像ライン単位で画像データを所定の信号取得周波数で取得して上記付着物の画像を撮像するローリングシャッタ方式を採用するものであり、上記付着物検出処理手段は、撮像画像を複数の領域に区分して得られる単位画像領域ごとに上記複数の画像間の画素値を比較することで上記ビートを検出するものであり、上記単位画像領域における上記画像ラインの配列方向の大きさを画像ライン数に換算した値が、上記信号取得周波数と上記駆動周波数との違いによって生じるビートの周期を画像ライン数に換算した値よりも小さく設定されていることを特徴とする。
これによれば、ローリングシャッタ方式を採用する撮像装置において、互いに異なる時期に撮像された複数の画像を比較する際、当該複数の画像間の差異を大きくとることができる。
【0116】
(態様H)
上記態様A〜Gのいずれかの態様において、上記付着物検出処理手段により上記付着物が検出されない状況から該付着物が検出される状況へ変化したとき、上記撮像装置の撮像周波数を増やす制御を行う撮像周波数変更手段を有することを特徴とする。
これによれば、付着物が検出されない状況では、撮像装置を相対的に低い撮像周波数で撮像させることで処理負荷を軽減する一方、付着物が検出された後の状況では、より短い時間でより多くの雨滴検出処理を繰り返し、雨滴の有無をより早期のうちに把握することができる。
【0117】
(態様I)
上記態様A〜Hのいずれかの態様において、上記付着物検出処理手段により上記付着物が検出されたときに、上記画像センサからの画像データが飽和値を示しているかどうかを判断し、その判断結果に基づいて上記光源の光照射強度を調整する光照射強度調整手段を有することを特徴とする。
これによれば、雨滴からの反射光の検出精度を落とすことなく、ノイズ成分を減らすことができ、雨滴の検出精度が向上する。
【0118】
(態様J)
光源から透明部材に向けて光を照射し、該透明部材に付着する付着物で反射した反射光を、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより受光して、該付着物の画像を所定の撮像周波数で連続撮像し、撮像した画像に基づいて該付着物を検出する付着物検出方法において、上記光源として、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものを用い、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光して、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された画像領域であると判別することを特徴とする。
これによれば、上記態様Aと同様、ビートの発生の有無の違いにより、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【符号の説明】
【0119】
100 自車両
101 撮像ユニット
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
108 車両走行制御ユニット
200 撮像装置
201 撮像ケース
202 光源
203 雨滴
204 撮像レンズ
205 光学フィルタ
206 画像センサ
206A フォトダイオード(受光素子)
210 前段フィルタ
211 赤外光カットフィルタ領域
212 赤外光透過フィルタ領域
213 車両検出用画像領域
214 雨滴検出用画像領域
220 後段フィルタ
220A 車両検出用フィルタ部
220B 雨滴検出用フィルタ部
221 フィルタ基板
222,225 偏光フィルタ層
223 分光フィルタ層
【先行技術文献】
【特許文献】
【0120】
【特許文献1】特許第4326999号公報

【特許請求の範囲】
【請求項1】
透明部材に向けて光を照射する光源と、
上記光源から照射された光が上記透明部材に付着する付着物で反射した反射光を、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置と、
該撮像装置が撮像した画像に基づいて上記付着物を検出する付着物検出処理手段とを有する付着物検出装置において、
上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、
上記撮像装置は、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光するものであり、
上記付着物検出処理手段は、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする付着物検出装置。
【請求項2】
請求項1の付着物検出装置において、
上記駆動周波数及び上記撮像周波数の一方が他方の整数倍から外れるように設定されていることを特徴とする付着物検出装置。
【請求項3】
請求項1又は2の付着物検出装置において、
上記光源は、特定波長帯の光を照射するものであり、
上記光学フィルタは、上記特定波長帯を選択して透過させる光学フィルタを含むことを特徴とする付着物検出装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の付着物検出装置において、
上記光学フィルタは、特定の偏光成分を選択して透過させる光学フィルタを含むことを特徴とする付着物検出装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の付着物検出装置において、
上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像を比較して上記ビートを検出することを特徴とする付着物検出装置。
【請求項6】
請求項5の付着物検出装置において、
上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像間の差分情報に基づいて上記ビートを検出することを特徴とする付着物検出装置。
【請求項7】
請求項5又は6の付着物検出装置において、
上記撮像装置は、上記画像センサ上の1又は2以上の画像ライン単位で画像データを所定の信号取得周波数で取得して上記付着物の画像を撮像するものであり、
上記付着物検出処理手段は、撮像画像を複数の領域に区分して得られる単位画像領域ごとに上記複数の画像間の画素値を比較することで上記ビートを検出するものであり、
上記単位画像領域における上記画像ラインの配列方向の大きさを画像ライン数に換算した値が、上記信号取得周波数と上記駆動周波数との違いによって生じるビートの周期を画像ライン数に換算した値よりも小さく設定されていることを特徴とする付着物検出装置。
【請求項8】
請求項1乃至7のいずれか1項に記載の付着物検出装置において、
上記付着物検出処理手段により上記付着物が検出されない状況から該付着物が検出される状況へ変化したとき、上記撮像装置の撮像周波数を増やす制御を行う撮像周波数変更手段を有することを特徴とする付着物検出装置。
【請求項9】
請求項1乃至8のいずれか1項に記載の付着物検出装置において、
上記付着物検出処理手段により上記付着物が検出されたときに、上記画像センサからの画像データが飽和値を示しているかどうかを判断し、その判断結果に基づいて上記光源の光照射強度を調整する光照射強度調整手段を有することを特徴とする付着物検出装置。
【請求項10】
光源から透明部材に向けて光を照射し、該透明部材に付着する付着物で反射した反射光を、受光素子が2次元配置された撮像画素アレイで構成された画像センサにより受光して、該付着物の画像を所定の撮像周波数で連続撮像し、撮像した画像に基づいて該付着物を検出する付着物検出方法において、
上記光源として、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものを用い、
上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光して、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された画像領域であると判別することを特徴とする付着物検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図23】
image rotate

【図25】
image rotate

【図27】
image rotate

【図28】
image rotate

【図4】
image rotate

【図5】
image rotate

【図22】
image rotate

【図24】
image rotate

【図26】
image rotate

【図29】
image rotate


【公開番号】特開2013−113781(P2013−113781A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−262113(P2011−262113)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】