説明

物体検出装置及びこれを備えた車載機器制御装置

【課題】互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する際に外乱光が存在しても、高精度な検出を可能とする。
【解決手段】撮像装置が撮像した画像データから、対向車両のヘッドランプと先行車両のテールランプがそれぞれ発する各検出波長帯(赤色と白色)についての分光情報を取得するとともに、同画像データから当該分光情報に対応した検出波長帯についての偏光情報を取得し、取得した分光情報によりヘッドランプとテールランプを識別し、偏光情報を用いてヘッドランプ及びテールランプからの直接光と雨路面からの照り返し光とを識別する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段が撮像した撮像画像に基づいて互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する物体検出装置及びこれを備えた車載機器制御装置に関するものである。
【背景技術】
【0002】
従来、夜間において、車載カメラ(撮像装置)により自車の進行方向前方領域(撮像領域)を撮像し、その撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムが知られている。運転者支援システムでは、例えば、先行車両や対向車両等の検出結果を用いて運転者に知らせたり警告したりする情報提供制御を行うものがある。また、例えば、先行車両や対向車両等の検出結果を用いて、自車のヘッドランプの照射方向の切り換え制御(ハイビームとロービームの切り換え制御等)を行ったり、自車のワイパーによる視界確保の制御を行ったりする車載機器の制御を行うものもある。このような運転者支援システムは、運転者の運転に対する負荷を低減させるとともに、交通安全に寄与するものであり、非常に有益なシステムであるが、その先行車両や対向車両等の検出結果を用いた各種制御を適切に行うためには、先行車両や対向車両等の検出精度を高めることが重要となる。
【0003】
このような運転者支援システムに利用される従来の物体検出装置は、撮像領域内に存在する物体からの反射光の明るさ情報(輝度情報)に基づいて撮像を行うモノクロ輝度カメラ(撮像装置)を用いたものが一般的である。夜間の先行車両や対向車両を検出するために自車の進行方向前方領域(撮像領域)を撮像する場合、その撮像領域からの光には、先行車両のテールランプや対向車両のヘッドランプ以外にも、各種の外乱光が含まれる。例えば、道路周辺に存在する自動販売機、店舗あるいは発光型看板などの発光体や、自車若しくは他車のヘッドランプ又はその他の光源からの光を反射する光反射物(例えば路側に設置されたリフレクタ等)からの光が、外乱光となり得る。そのため、モノクロ輝度カメラで撮像した撮像画像中には、先行車両のテールランプや対向車両のヘッドランプ以外のその他の外乱光も一緒に含まれることになる。したがって、夜間に先行車両や対向車両を高精度に検出するためには、先行車両のテールランプの光と、対向車両のヘッドランプの光と、その他の外乱光とを、高い精度で区別する必要がある。
【0004】
特許文献1には、夜間に先行車両や対向車両を検出可能な物体検出装置として、画像センサによって撮像した画像に基づいて先行車両のテールランプや対向車両のヘッドランプを検出するシステムが開示されている。このシステムは、ヘッドランプからの強い白色光とテールランプからの強い赤色光とを抽出し、その抽出結果(分光情報)から対向車両や先行車両を検出している。具体的には、赤色のフィルタ染料で形成されたレンズと緑がかった青色のフィルタ染料で形成されたレンズとを画像センサの前段部に配置し、撮像領域からの入力光をこれらのレンズでそれぞれ画像センサ上の2箇所に集束させる。これにより、前者のレンズによって集束された光の輝度値から入力光の赤色成分が抽出され、後者のレンズによって集束された光の輝度値から入力光の青色成分が抽出される。そして、入力光の赤色成分が所定の明るさ(輝度)以上であるときには撮像領域内に先行車両のテールランプが存在するとみなして先行車両のテールランプを検出し、入力光の青色成分が所定の明るさ(輝度)以上であるときには撮像領域内に対向車両のヘッドランプが存在するとみなして対向車両のヘッドランプを検出する。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に開示のシステムは、撮像領域からの入力光の赤色成分の輝度情報及び青色成分の輝度情報を単に検知しているだけなので、撮像領域内に検出対象物(ヘッドランプやテールランプ)の光と同程度の輝度をもつ同一波長の外乱光が存在する非検出対象物と、その外乱光を検出対象物の光と誤検知してしまうという問題がある。例えば、路面上あるいは道路周辺に、光を鏡面反射させるような鏡面反射体(路面上の水溜まり、路面上又は路側に存在する金属面など)が存在する場合、撮像領域外のヘッドランプやテールランプの光あるいはその他の光が撮像領域内の鏡面反射体に当たって、その鏡面反射体からヘッドランプやテールランプの光と同一波長で同程度の輝度を示す光が発せられる場合がある。この場合、上記特許文献1に開示のシステムのように入力光の輝度と波長で検出を行う場合には、検出対象物であるヘッドランプやテールランプの光とこのような外乱光とを区別して認識できない。
【0006】
なお、この問題は、先行車両や対向車両の物体検出処理に限られるものでない。詳しくは、互いに異なる波長帯の光を発する少なくとも2種類の物体(検出対象物)を検出する場合であって、その物体から発せられる光(反射光を含む。以下同じ。)と同じ波長帯を含みかつ同程度の輝度を示すような外乱光が撮像領域内に存在し得る場合には、同様に生じ得る問題である。
【0007】
本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する際、その検出対象物から発せられる光と同じ波長帯を含みかつ同程度の輝度を示す外乱光を発する非検出対象物が存在する場合でも、高精度な検出が可能な物体検出装置及びこれを備えた車載機器制御装置を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、請求項1の発明は、撮像領域内に存在する物体から発せられる光を画像センサで受光して撮像領域内を撮像する撮像手段と、該撮像手段が撮像した撮像画像に基づいて互いに異なる波長帯の光を発する少なくとも2種類の検出対象物の検出処理を行う物体検出処理手段とを有する物体検出装置において、上記撮像手段が撮像した撮像画像から、上記少なくとも2種類の検出対象物がそれぞれ発する光の波長帯である各検出波長帯についての分光情報を取得する分光情報取得手段と、上記撮像手段が撮像した撮像画像から、該分光情報取得手段が取得する分光情報に対応した検出波長帯についての偏光情報を取得する偏光情報取得手段とを有し、上記物体検出処理手段は、該分光情報取得手段が取得した分光情報と該偏光情報取得手段が取得した偏光情報を用いて上記少なくとも2種類の検出対象物の検出処理を行うことを特徴とするものである。
また、請求項2の発明は、請求項1の物体検出装置において、上記画像センサは、受光素子が2次元配置された画素アレイを有するものであり、上記撮像手段は、撮像領域からの光を上記各検出波長帯に分光して該各検出波長帯の光を上記画像センサ上の互いに異なる受光素子に入射させる分光部材と、該画像センサに入射される各検出波長帯の光について特定の偏光成分のみを遮光する偏光領域と該特定の偏光成分を透過する透過領域とを備えた偏光部材とを有し、上記分光情報取得手段は、上記各検出波長帯の光を受光した各受光素子の受光量に基づく指標値を該各検出波長帯についての分光情報として取得し、上記偏光情報取得手段は、上記偏光領域に対応する受光素子の受光量に基づく指標値を偏光情報として取得することを特徴とするものである。
また、請求項3の発明は、請求項1又は2の物体検出装置において、上記撮像手段は、自車両の進行方向前方領域を撮像領域として撮像するものであり、上記少なくとも2種類の検出対象物には、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とが含まれており、上記分光情報取得手段は、少なくとも車両のテールランプ色の波長帯についての分光情報及び車両のヘッドランプ色の波長帯についての分光情報を取得することを特徴とするものである。
また、請求項4の発明は、請求項3の物体検出装置において、上記物体検出処理手段は、上記偏光情報取得手段が取得した偏光情報を用いて、他車両のテールランプ及び他車両のヘッドランプから直接入射した光についての正規分光情報と、該正規分光情報と同じ波長帯を有する路面からの光についての非正規分光情報とを識別し、該正規分光情報を用いて、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とを検出することを特徴とするものである。
また、請求項5の発明は、車両の周囲を撮像領域として撮像し、該撮像領域内に存在する物体のうち互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する物体検出手段と、該物体検出手段の検出結果に基づいて上記車両に搭載された車載機器の動作を制御する制御手段とを有する車載機器制御装置において、上記物体検出手段として、請求項1乃至4のいずれか1項に記載の物体検出装置を用いたことを特徴とするものである。
また、請求項6の発明は、請求項5の車載機器制御装置において、上記物体検出手段として、請求項3又は4の物体検出装置を用い、上記制御手段は、上記物体検出手段の検出結果に基づいて、上記車両に搭載された車載機器であるヘッドランプの照射方向を変更し又は該ヘッドランプの発光強度を変更する制御を行うことを特徴とするものである。
【0009】
本発明においては、撮像領域内において互いに異なる波長帯の光を発する少なくとも2つの物体(自ら発光するものと光を反射するものとを含む。)を検出対象物としている。これらの検出対象物に対応する各検出波長帯について分光情報取得手段で分光情報を撮像画像から取得し、その分光情報に基づき物体検出処理手段で撮像領域内の検出対象物を互いに区別して検出する。この物体検出処理手段による検出対象物の検出処理において、分光情報取得手段が取得する分光情報に対応した検出波長帯について偏光情報取得手段が撮像画像から取得した偏光情報も用いる。よって、検出対象物からの光と同じ波長をもち同程度の輝度を示す外乱光を発する非検出対象物が撮像領域内に存在する場合でも、検出対象物と非検出対象物との間に偏光成分の違いがあれば、これらを区別して認識することができる。例えば、検出対象物からの直接光と検出対象物からの光が鏡面反射体で反射した光との間では、一般に後者の光に含まれるS偏光成分が強いので、両者を区別して識別することができる。
【発明の効果】
【0010】
以上、本発明によれば、互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する際、その検出対象物から発せられる光と同じ波長帯を含みかつ同程度の輝度を示す外乱光を発する非検出対象物が存在する場合でも、検出対象物と非検出対象物との間に偏光成分の違いがあれば、検出対象物を非検出対象物と区別して識別でき、検出対象物を高精度に検出することができるという優れた効果が得られる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係るヘッドランプ制御システムの機能ブロック図である。
【図2】同ヘッドランプ制御システムにおける撮像装置の概略構成を示す説明図である。
【図3】同撮像装置における光学フィルタと画像センサとを示す拡大図である。
【図4】同光学フィルタの領域分割パターンと同画像センサの画素との対応関係を示す説明図である。
【図5】同光学フィルタの偏光領域として利用可能なワイヤグリッド偏光子の拡大写真である。
【図6】同光学フィルタに、S偏光成分の光を入射させたときの測定結果を示す画像である。
【図7】構成例1における光学フィルタ及び画像センサの説明図である。
【図8】構成例2における光学フィルタ及び画像センサの説明図である。
【図9】構成例3における光学フィルタ及び画像センサの説明図である。
【図10】構成例4における光学フィルタの偏光領域を画像センサ上に重ねて示した説明図である。
【図11】同光学フィルタに、S偏光成分の光を入射させたときの測定結果を示す画像である。
【図12】雨の日に、同撮像装置を用いてヘッドランプから直接入射する光(直接光)と、ヘッドランプからの光が雨路面で反射した光(照り返し光)とを撮像した結果を示すヒストグラムである。
【図13】雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を同撮像装置で撮像した場合の一例を示す模式図である。
【図14】実施形態における車両検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明に係る物体検出装置を車載機器制御装置としてのヘッドランプ制御システムに用いる一実施形態について説明する。
なお、本発明に係る物体検出装置は、ヘッドランプ制御システムに限らず、例えば、当該物体検出装置により夜間に先行車両や対向車両などの検出対象物を検出して運転者に表示や警告を行う運転者支援システムにも同様に適用できる。
【0013】
図1は、本実施形態に係るヘッドランプ制御システムの機能ブロック図である。
このヘッドランプ制御システムは、主に、撮像手段としての撮像装置11と、車両挙動センサ12と、物体検出装置としての車両検出制御装置13と、制御手段としてのヘッドランプ制御装置14とから構成されている。
【0014】
撮像装置11は、自車両の進行方向前方領域を撮影することができるように、自車両に搭載される。具体的には、例えば、車室内に付属されたバックミラーの裏側のフロントガラス付近に取り付けたり、そのバックミラーに内蔵したり、ヘッドランプに内蔵したりする。撮像装置11の搭載時には、撮像装置11の撮影方向が所定の基準方向(例えば水平方向)に一致するように調整して固定される。なお、撮像装置11は、図示しない内蔵の制御部からの指示に応じて、シャッタースピード、フレームレート、及び、車両検出制御装置13へ出力するデジタル信号のゲイン等を調整することができるように構成されている。そして、撮像装置11は、撮像画像データとして、撮影した画像の画素ごとの明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに車両検出制御装置13へ出力する。
【0015】
車両挙動センサ12は、例えば自車両の4輪のサスペンションに設置されたストロークセンサから構成され、自車両のピッチ方向やロール方向における挙動変化を検出する。自車両が走行して、前後左右に加速度が生じると、自車両の車体はピッチ方向やロール方向に揺動し、それに伴って撮像装置11の撮像方向も基準方向からずれる。車両挙動センサ12は、撮像装置11の撮像方向が基準方向からどの程度ずれたかを算出するための車両の挙動情報を車両検出制御装置13に与える。
【0016】
車両検出制御装置13は、撮像装置11から入力された撮像画像データと車両挙動センサ12からの上述した車両の挙動情報とを用いて、所定の画像処理を施すことにより、画像に含まれる光源が、先行車両(自車両から離れる方向へ進行する他車両)のテールランプ、対向車両(自車両に近づく方向へ進行する他車両)のヘッドランプのいずれに該当するか又はいずれにも該当しないかを判断する。そして、画像に含まれる光源が先行車両のテールランプや対向車両のヘッドランプに該当すると判断した場合には、その先行車両や対向車両に関する検出情報をヘッドランプ制御装置14に出力する。
【0017】
ヘッドランプ制御装置14は、車両検出制御装置13から入力された、先行車両や対向車両に関する検出情報に基づいて、ヘッドランプの向き(光照射方向)を制御する。例えば、検出情報に基づいて特定される先行車両や対向車両までの距離が所定距離以下である場合には、ヘッドランプの向きをロービームとする。これにより、先行車両や対向車両の運転者が自車両のヘッドランプの光によって眩しさを感じにくくする。一方、先行車両や対向車両までの距離が所定距離を超えていたり、先行車両や対向車両が検出されていなかったりする場合には、ヘッドランプの向きをハイビームとする。これにより、夜間でも自車両の運転者の視界をより遠方まで確保することができるようになる。なお、ヘッドランプ制御装置14は、そのヘッドランプの向きの制御をユーザによってOFFに切り替えることが可能であり、ユーザの認識に応じてハイビームとロービームを手動で切り換えることもできる。
【0018】
図2は、本実施形態における撮像装置11の概略構成を示す説明図である。
この撮像装置11は、主に、撮像レンズ1と、光学フィルタ2と、2次元配置された画素アレイを有する画像センサ4を含んだセンサ基板3と、センサ基板3から出力されるアナログ電気信号(画像センサ4上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部5とから構成されている。被写体(被検物)を含む撮像領域からの光は、撮像レンズ1を通り、光学フィルタ2を透過して、画像センサ4でその光強度に応じた電気信号に変換される。信号処理部5では、画像センサ4から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ4上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段の機器へ出力する。
【0019】
図3は、光学フィルタ2と画像センサ4とを示す拡大図である。
画像センサ4は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード4aを用いている。フォトダイオード4aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード4aの集光効率を上げるために、各フォトダイオード4aの入射側にはマイクロレンズ4bが設けられている。この画像センサ4がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板3が形成されている。画像センサ4のマイクロレンズ4b側の面には、光学フィルタ2が近接配置されている。光学フィルタ2の画像センサ4側の面には、図4に示すように、光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光するような偏光子として機能する偏光領域2bとが2次元方向で交互に隣接するように格子状に配置されて領域分割された格子パターン(領域分割パターン)を有している。個々の透過領域2a及び偏光領域2bは、図4に示すように、それぞれ、画像センサ4上の隣接2画素分(互いに隣接する2つのフォトダイオード4a)に対応するように配置されている。
【0020】
このような光学フィルタ2においては、その偏光領域2bとしては、例えば、液晶ディスプレイなどに用いられるヨウ素や染料を利用した有機系材料による偏光子を用いてもよいし、耐久性に優れたワイヤグリッド偏光子を用いてもよい。ワイヤグリッド偏光子は、図5におけるワイヤグリッドの断面構造の写真に示すように、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列されたものである。ワイヤグリッド偏光子のピッチが入射光(例えば可視光の波長である400〜800nm)に比べて十分に短いピッチ(例えば入射光の1/2以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させることができるので、単一偏光を作り出す偏光子として使用できる。
【0021】
ワイヤグリッド偏光子は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行い、メタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成することで、製造することができる。なお、本実施形態のような格子パターンを形成するにあたっては、一様なワイヤグリッド層から上述した格子パターンに応じてワイヤグリッド部を除く方法と、一様にアルミニウムを蒸着した後に、格子パターンとワイヤグリッドの凹部形成を一括で作製する手法とが考えられる。後者の方が、工程数が少なくて済む。
【0022】
なお、ワイヤグリッド偏光子を用いる場合の留意事項としては、金属ワイヤの断面積が増加すると消光比が増加してしまうことが挙げられる。また、周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少してしまうことが挙げられる。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高い消光比特性を示してしまうことが挙げられる。金属ワイヤが配置されている面の耐擦傷性や防汚性を高めるために樹脂などで封止するのが好ましい。
【0023】
図6は、本発明者らが試作した本実施形態における光学フィルタ2に、S偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ2は、ストライプ幅が約6μmとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域2cとなり、後者の領域が透過領域2aとなっている。測定は、上記構成例1の場合と同様である。図6に示すように、黒くなっている部分は遮光されていることを示すものであり、S偏光成分の光はワイヤグリッドが形成されている偏光領域2cでは良好にカットされていることが確認できる。
【0024】
本実施形態においては、画像センサ4上の画素(フォトダイオード4a)を4画素で1グループとし、各グループが、図4に示すように、車両のテールランプ色(赤色)の波長帯(赤色成分)の光を非偏光で受光する画素Rと、車両のヘッドランプ色(白色)の波長帯(白色成分=非分光)の光を非偏光で受光する画素Wと、赤色成分の光に含まれるP偏光成分を受光する画素RPと、非分光のP偏光成分を受光する画素WPとを含んでいる。
【0025】
本実施形態では、このような画像センサ4上の画素を、このような4種類の画素R,W,RP,WPとして機能するように領域分割するために、画像センサ4として、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図4に示すように2次元方向で交互に隣接するように市松状に配置された分光フィルタを用いている。これにより、画像センサ4上の画素は、赤色成分を受光する画素R,RPと白色成分(非分光)を受光する画素W,WPとが2次元方向で交互に隣接するように市松状に配置されるように領域分割される。なお、使用するカラーフィルタは、赤色光(例えば波長600nm以上の光)のみを透過する半導体プロセスによって形成されたものを用いることができる。このようなフィルタであれば、染料を使ったフィルタと比較して、車室内という温度変化の激しい特殊な環境下に設置される撮像装置11に搭載しても、フィルタ機能の劣化が少ない。
【0026】
そして、本実施形態における光学フィルタ2は、上述したように、個々の透過領域2a及び偏光領域2bが、それぞれ、画像センサ4上の隣接2画素分に対応するように配置されている。よって、偏光領域2bに対向する隣接2画素(赤色成分を受光する画素と非分光を受光する画素)は、S偏光成分が除去されたP偏光成分だけの光を受光することになる。よって、偏光領域2bに対向する隣接2画素は、赤色成分の光に含まれるP偏光成分を受光する画素RP、及び、白色成分の光(非分光)に含まれるP偏光成分を受光する画素WPとして機能する。一方、透過領域2aに対向する隣接2画素は、非偏光の赤色成分を受光する画素R、及び、非偏光かつ非分光の光を受光する画素Wとして機能する。その結果、本実施形態によれば、図4に示すように、4種類の画素R,W,RP,WPが2×2画素のグループとなるように、画像センサ4上の画素が領域分割されたパターンを得ることができる。
【0027】
画像センサ4上の画素がこのようなパターンで4種類の画素R,W,RP,WPに領域分割されていることにより、画像センサ4上における2×2画素を1画素とした各種画像を得ることができる。例えば、画素RPに対応した赤色成分のP偏光画像(P偏光赤色画像)と、画素WPに対応した白色成分すなわち非分光のP偏光画像(P偏光モノクロ輝度画像)と、画素Rに対応した非偏光の赤色画像と、画素Wに対応した非偏光のモノクロ輝度画像とを得ることができる。また、非偏光の赤色成分を受光する画素Rの輝度値と、これに隣接して赤色成分の光に含まれるP偏光成分を受光する画素RPの輝度値との差分は、当該赤色成分の光に含まれるS偏光成分に相当する。よって、画素Rの輝度値とこれに隣接する画素RPの輝度値との差分を用いることで、その差分値を画素値とした赤色成分のS偏光画像を得ることができる。同様に、画素Wの輝度値とこれに隣接する画素WPの輝度値との差分を用いることで、その差分値を画素値とした白色成分すなわち非分光のS偏光画像を得ることができる。
【0028】
〔構成例1〕
ここで、本実施形態における光学フィルタ2及び画像センサ4の一構成例(以下、本構成例を「構成例1」という。)について説明する。
図7は、本構成例1における光学フィルタ2及び画像センサ4の説明図である。
本構成例1に係る光学フィルタ2は、非偏光の光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bと、非偏光の赤色成分のみ通過させるフィルタ領域2cと、赤色成分のみ通過させるフィルタとP偏光成分は透過するがS偏光成分は遮光する偏光子とか組み合わさったフィルタ偏光領域2dとが、2×2画素のグループとなり、各グループが2次元方向に格子状に配置された領域分割パターンを有している。このような光学フィルタ2を用いれば、画像センサ4にカラーフィルタを設けることなく、画像センサ4の画素を上記実施形態と同じように領域分割したパターンが得られる。よって、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることができる。
【0029】
本構成例1では、画像センサ4として、多品種が存在するモノクロ専用画像センサを用いることができる。よって、所望のセンサ仕様を満たすセンサを容易に入手できる点で好適である。
【0030】
〔構成例2〕
また、本実施形態における光学フィルタ2及び画像センサ4の他の構成例(以下、本構成例を「構成例2」という。)について説明する。
図8は、本構成例2における光学フィルタ2及び画像センサ4の説明図である。
本構成例2に係る光学フィルタ2は、非偏光の光を透過する透過領域2aと、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bとが、特定方向(図中左右方向)に交互に配置されたストライプ状の領域分割パターンを有している。このようなストライプ状のパターンをもつ光学フィルタ2は、画像センサ4との位置調整を行うにあたっては当該特定方向のみの位置調整を行えばよく、上記実施形態や上記構成例1の光学フィルタ2と比較して、実装精度が緩和されるという利点がある。
【0031】
一方、本構成例2の画像センサ4は、上記実施形態と同様に、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図8に示すように2次元方向で交互に隣接するように市松状に配置されたものを用いている。その結果、上記光学フィルタ2と組み合わせることで、4種類の画素R,W,RP,WPが2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。ただし、本構成例2における各グループ内における種類の画素R,W,RP,WPの配列は上記実施形態のものとは異なるものとなる。しかしながら、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることはできる。
【0032】
〔構成例3〕
また、本実施形態における光学フィルタ2及び画像センサ4の更に他の構成例(以下、本構成例を「構成例3」という。)について説明する。
図9は、本構成例3における光学フィルタ2及び画像センサ4の説明図である。
本構成例3の画像センサ4は、上記実施形態と同様に、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが図8に示すように2次元方向で交互に隣接するように市松状に配置されたものを用いている。一方、本構成例3に係る光学フィルタ2は、2×2画素のグループ中において画像センサ4上のカラーフィルタが無い2つの画素(非分光を受光する2つの画素)のうちの一方に対向するように、P偏光成分は透過するがS偏光成分は遮光する偏光領域2bが配置され、残りは非偏光の光を透過する透過領域2aが配置された領域分割パターンを有している。
【0033】
本構成例3においては、赤色成分のP偏光成分については画像センサ4によって受光されない。すなわち、図9に示すように、3種類の画素(2つの画素Rと、1つずつの画素W,WP)が2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。よって、本構成例3によれば、画素WPに対応した白色成分すなわち非分光のP偏光画像と、画素Rに対応した非偏光の赤色画像と、画素Wに対応した非偏光のモノクロ輝度画像と、モノクロのS偏光画像とを得ることができる。詳しくは後述するが、先行車両のテールランプについては路面からの反射光のような外乱光を区別しない(又は区別する必要がない)場合には、本構成例3を採用することができる。
【0034】
〔構成例4〕
また、本実施形態における光学フィルタ2及び画像センサ4の更に他の構成例(以下、本構成例を「構成例4」という。)について説明する。
図10は、本構成例4における光学フィルタ2の偏光領域2cを、画像センサ4上に重ねて示した説明図である。
本構成例4に係る光学フィルタ2は、透過領域2aと偏光領域2cとが1次元方向で交互に隣接するように配置されてストライプ状に領域分割された格子パターンを有している点で上記構成例2と同様である。しかしながら、上記構成例2では、偏光領域2cの長尺方向が画像センサ4上の画素列に平行であったのに対し、本構成例4では、偏光領域2cの長尺方向が画像センサ4上の画素列に対して斜めとなっている点で異なっている。本構成例4の光学フィルタ2において、偏光領域2cは、図10に示すように、図中横方向に画像センサ4の一画素分の幅をもち、図中縦方向に画像センサ4の二画素分の幅を持っており、図中横方向一画素分について図中縦方向二画素分変位するように、画像センサ4上の画素列に対して斜めに配置される。
【0035】
一方、本構成例4の画像センサ4は、図10に示すように、赤色成分のみを透過するカラーフィルタの領域とこのカラーフィルタが無い領域とが、画像センサ4上の画素列(図中横方向に延びる画素列)に沿ってストライプ状に配置されたものを用いている。その結果、上記光学フィルタ2と組み合わせることで、4種類の画素R,W,RP,WPが2×2画素のグループとなるように画像センサ4上の画素が領域分割されたパターンを得ることができる。ただし、本構成例4における各グループ内における種類の画素R,W,RP,WPの配列は上記実施形態のものとも上記構成例2のものとも異なるものとなる。しかしながら、画像センサ4上における2×2画素を1画素とした上記実施形態と同様の各種画像を得ることはできる。
【0036】
図11は、本発明者らが試作した本構成例4における光学フィルタ2に、S偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ2は、ストライプ幅が約6μmとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域2cとなり、後者の領域が透過領域2aとなっている。測定は、上記構成例2の場合と同様である。図11に示すように、黒くなっている部分は遮光されていることを示すものであり、S偏光成分の光はワイヤグリッドが形成されている偏光領域2cでは良好にカットされていることが確認できる。
【0037】
これらの構成例1〜4を含む本実施形態の光学フィルタ2は、これらの構成例1〜4を含む本実施形態の画像センサ4の前段に設置される。その設置方法は、光学フィルタ2の凹凸構造面を画像センサ4の受光面と対向するような向きで近接配置の上、固定する。固定方法としては、画像センサ4の受光面周辺にスペーサを配置して光学フィルタ2を保持する方法や、光学フィルタ2の凹凸構造面と画像センサ4との間に接着剤を充填して接着する方法などが挙げられる。後者の方法の場合、光学フィルタ2と画像センサ4との間に接着剤が充填されるため、これらの間が空気層である場合と同程度の透過率性能を得るためには、高アスペクト比の構造とする必要があり、製造が難しくなる。この点で、前者の方法の方が好ましい。
【0038】
光学フィルタ2を画像センサ4に取り付ける方法としては、画像センサ4をワイヤボンディングなどの手法によりPWB上に設置したセンサ基板3に、光学フィルタ2を後から固定(ASSY)する方法と、光学フィルタ2と画像センサ4を予め固着したものをPWB上に実装する方法とが考えられる。より望ましくは、画像センサ4のウエハと光学フィルタ2が形成されたウエハとを接着したものをダイシング加工することで低コストに作製することができる。
【0039】
次に、上述した撮像装置11によって撮像した撮像画像データ(画像センサ4上の各受光素子で受光される受光量を示す画素データ群)からは、種々の情報が得られる。具体的には、撮像領域内の各地点(光源)から発せられる光の強さ(明るさ情報)、ヘッドランプやテールランプなどの光源(他車両)と自車両との距離(距離情報)、各光源から発せられる光の赤色成分と白色成分(非分光)の分光情報、各光源から発せられる光の白色成分(非分光)についてのP偏光成分(あるいはS偏光成分)に関する偏光情報、各光源から発せられる光の赤色成分についてのP偏光成分(あるいはS偏光成分)に関する偏光情報などが得られる。
【0040】
明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像装置11によってそれらの先行車両及び対向車両を撮影すると、撮影画像データ上では検出対象物の1つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の1つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ4上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ(輝度情報)を用いることで 2種類の検出対象物(ヘッドランプとテールランプ)及びリフレクタの一次的な識別が可能である。
【0041】
また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ(すなわち他車両)と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像装置11が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。
【0042】
このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置11における撮像レンズ1の焦点距離fは既知であるため、撮像装置11の画像センサ4上における左右ランプにそれぞれ対応した2つのランプ画像領域間の距離w1を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離xは、単純な比例計算(x=f×w0/w1)により求めることができる。また、このようにして算出される距離xが適正範囲であれば、その算出に用いた2つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。
【0043】
また、分光情報について説明すると、本実施形態では、上述したとおり、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素Rに対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した非偏光赤色画像を生成することができる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素Wに対応した画素データのみを抽出することで、撮像領域内の非偏光モノクロ輝度画像を生成することができる。よって、非偏光赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することができる。さらに、非偏光赤色画像上の画像領域と、この画像領域に対応した非偏光モノクロ輝度画像上の画像領域との間の輝度比率(赤色輝度比率)を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体(光源)から発せられる光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。
【0044】
また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素RPに対応した画素データのみを抽出することで、撮像領域内の赤色成分に含まれるP偏光成分だけを映し出したP偏光赤色画像を生成することができる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素WPに対応した画素データのみを抽出することで、撮像領域内の非分光のP偏光成分だけを映し出したP偏光モノクロ輝度画像を生成することができる。
また、S偏光成分は、非偏光の輝度値からP偏光成分の輝度値を差し引くことで算出することができる。したがって、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素RPに対応した画素データと画素Rに対応した画素データとを抽出し、画素Rの画素データから画素RPの画素データを差し引いた画素データを算出することで、赤色成分に含まれるS偏光成分の画素データを得ることができ、撮像領域内の赤色成分に含まれるS偏光成分だけを映し出したS偏光赤色画像を生成することもできる。同様に、撮像装置11で撮像した撮像画像データから、画像センサ4上の画素WPに対応した画素データと画素Wに対応した画素データとを抽出し、画素Wの画素データから画素WPの画素データを差し引いた画素データを算出することで、非分光のS偏光成分の画素データを得ることができ、撮像領域内の非分光のS偏光成分だけを映し出したS偏光モノクロ輝度画像を生成することもできる。
【0045】
このような偏光情報を用いることで、上述した明るさ情報、距離情報、分光情報だけでは、ヘッドランプやテールランプを映し出したランプ画像領域であるかどうかを高精度に識別することが困難である場合でも、その識別精度を向上させることができる。
例えば、一般に、鏡面で反射した光はS偏光成分が常に強くなることが知られており、特にS偏光成分とP偏光成分との比率S/Pや差分偏光度(S−P)/(S+P)等のS偏光成分及びP偏光成分の相対関係を示す指標値は、特定角度(ブリュースター角度)において最大となることが知られている。晴れの日のように路面上に水が付着していないアスファルト面等の路面は、一般に散乱面であるが、降雨などによって路面上に水が付着した状態になると、その路面(以下「雨路面」という。)は鏡面に近い状態となる。そのため、雨路面に反射した光は、その雨路面に入射した光に対して、S偏光成分が強くなったものとなる。なお、S偏光成分とは横偏光成分のことをいう。ヘッドランプやテールランプから直接的に撮像装置11へ入射する光は、通常、非偏光の状態である。これに対し、ヘッドランプやテールランプからの光が雨路面に反射して撮像装置11へ入射した場合、その反射光はS偏光成分が強いものとなる。
【0046】
図12は、雨の日に、本実施形態の撮像装置11を用いて、ヘッドランプから直接入射する光(直接光)と、ヘッドランプからの光が雨路面で反射した光(照り返し光)とを撮像した結果を示すヒストグラムである。
このヒストグラムは、横軸には差分偏光度(S−P)/(S+P)をとり、縦軸には頻度(1に規格化したもの)をとったものである。このヒストグラムから分かるように、照り返し光については、直接光よりもS偏光成分が強い方向へ分布がシフトしている。
【0047】
図13は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置11で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。
【0048】
本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値(輝度値)あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。
【0049】
また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述したS偏光赤色画像の画素値(輝度値)やその差分偏光度を元に、S偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述したS偏光モノクロ輝度画像の画素値(輝度値)やその差分偏光度を元に、S偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。
【0050】
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図14は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置11が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
【0051】
まず、ステップS1では、撮像装置11の画像センサ4によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ4の各画素における輝度を示す信号を含む。次に、ステップS2では、自車両の挙動に関する情報を車両挙動センサ12から取り込む。
【0052】
ステップS3では、メモリに取り込まれた画像データから検出対象物(先行車両のテールランプ及び対向車両のベッドランプ)であると思われる輝度の高い画像領域(高輝度画像領域)を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
【0053】
高輝度画像領域抽出処理では、まず、ステップS31において、画像センサ4上の各画素の輝度値を所定の閾値輝度と比較することにより2値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、ステップS32において、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、1つの高輝度画像領域として抽出される。
【0054】
上述した高輝度画像領域抽出処理の後に実行されるステップS4では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右1対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
【0055】
まず、ペアランプ距離算出処理のために、ステップS41では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置11が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップS42のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置11における焦点距離fは既知であるため、撮像装置11の画像センサ4上の左右ランプ距離w1を算出することにより、ペアランプまでの実際の距離xは、単純な比例計算(x=f・w0/w1)により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
【0056】
ステップS5では、非偏光赤色画像と非偏光モノクロ輝度画像との比率を分光情報として用い、この分光情報から、ペアランプとされた2つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップS51において、ペアランプとされた高輝度画像領域について、画像センサ4上の画素Rに対応した画素データと画像センサ4上の画素Wに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップS52において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
【0057】
続いて、ステップS6では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度(S−P)/(S+P)を偏光情報として用いて、テールランプ又はヘッドランプから直接受光された直接光によるものなのか、テールランプ又はヘッドランプからの光が雨路面等の鏡面部で反射して受光された照り返し光によるものなのかを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップS61において、テールランプ画像領域について、画像センサ4上の画素RPに対応した画素データと画像センサ4上の画素Wに対応した画素データとを用いて差分偏光度(S−P)/(S+P)を算出し、その差分偏光度(S−P)/(S+P)を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域について、画像センサ4上の画素WPに対応した画素データと画像センサ4上の画素Wに対応した画素データとを用いて差分偏光度(S−P)/(S+P)を算出し、その差分偏光度(S−P)/(S+P)を画素値とした差分偏光度画像を作成する。そして、ステップS62において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
【0058】

なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。また、運転者(ドライバー)がワイパーを稼働している場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理S6を実行するようにしてもよい。
【0059】
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの光照射方向の制御に用いられる。
具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドライト照明光が入射する距離範囲A内に近づいた場合に、その先行車両に自車両のヘッドライト照明光が当たらないように、自車両のヘッドライトの一部を遮光したり、自車両のヘッドライトの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドライト照明光が当たる距離範囲B内に近づいた場合に、その対向車両に自車両のヘッドライト照明光が当たらないように、自車両のヘッドライトの一部を遮光したり、自車両のヘッドライトの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
【0060】
以上の説明では、本発明に係る物体検出装置を、車載機器制御装置としてのヘッドランプ制御システムに用いる場合を例に挙げたが、これに限られるものではない。例えば、本発明に係る物体検出装置を、車載機器である表示モニターを制御して他車両の接近を警告する例や、自車両が他車両に衝突することを回避したり衝突時の衝撃を軽減したりするために車載機器であるブレーキを制御する例、先行車両との車間距離を維持するために車載機器であるアクセル調整機器を制御して自車両の速度を自動調整する例など、本発明は、様々な車載機器制御装置に適用することができる。
また、本発明は、このような車載機器制御装置に限らず、上述した直接光とその照り返し光とを区別することが望まれる様々な物体識別装置に適用可能である。
【0061】
また、以上の説明では、偏光情報を、雨路面のような鏡面部からの反射光(照り返し光)を検出対象物からの直接光と区別するために用いた例について説明したが、偏光情報はこのような直接光と照り返し光との区別以外の識別処理にも有効な場合がある。すなわち、本発明は、検出対象物からの直接光とそれ以外の外乱光との間に偏光情報の違いが存在する場合に、これらを有効に識別できるものである。
【0062】
以上、本実施形態に係るヘッドランプ制御システムは、自車両の周囲を撮像領域として撮像し、その撮像領域内に存在する物体のうち互いに異なる波長帯の光を発する少なくとも2種類の検出対象物である対向車両のヘッドランプと先行車両のテールランプを検出する物体検出手段である物体検出装置と、物体検出装置の検出結果に基づいて自車両に搭載された車載機器であるヘッドランプの動作を制御する制御手段としてのヘッドランプ制御装置14とを有する車載機器制御装置である。このヘッドランプ制御システムで用いられる物体検出装置は、撮像領域内に存在する物体から発せられる光を画像センサ4で受光して撮像領域内を撮像する撮像手段としての撮像装置11と、撮像装置11が撮像した撮像画像に基づいて対向車両のヘッドランプと先行車両のテールランプの検出処理を行う物体検出処理手段としての車両検出制御装置13とを有する。車両検出制御装置13は、撮像装置11が撮像した撮像画像から、対向車両のヘッドランプと先行車両のテールランプがそれぞれ発する光の波長帯である各検出波長帯(赤色と白色)についての分光情報を取得する分光情報取得手段と、撮像装置11が撮像した撮像画像から、当該分光情報取得手段が取得する分光情報に対応した検出波長帯(赤色と白色)についての偏光情報である差分偏光度(S−P)/(S+P)を取得する偏光情報取得手段として機能する。そして、車両検出制御装置13は、分光情報取得手段が取得した分光情報と偏光情報取得手段が取得した偏光情報を用いて対向車両のヘッドランプと先行車両のテールランプの検出処理を行う。これにより、明るさ情報、距離情報、分光情報を用いただけでは識別が困難な、対向車両のヘッドランプや先行車両のテールランプから直接入射される直接光と雨路面からの照り返し光(外乱光)とを、偏光情報を用いて高精度に識別できるようになる。したがって、ヘッドランプ制御装置14によるヘッドランプの動作制御を高精度に行うことができる。
特に、本実施形態において、画像センサ4は、受光素子4aが2次元配置された画素アレイを有するものであり、撮像装置11は、撮像領域からの光を各検出波長帯(赤色と白色)に分光して各検出波長帯の光を画像センサ4上の互いに異なる受光素子に入射させる分光部材としての分光フィルタと、画像センサ4に入射される各検出波長帯の光について特定の偏光成分であるS偏光成分のみを遮光する偏光領域2bとS偏光成分を透過する透過領域2aとを備えた偏光部材としての光学フィルタ2とを有する。そして、各検出波長帯(赤色と白色)の光を受光した各受光素子R,Wの受光量に基づく指標値R/Wを各検出波長帯についての分光情報として取得する。また、偏光領域2bに対応する受光素子RP,WPの受光量に基づく指標値である差分偏光度(S−P)/(S+P)を偏光情報として取得する。このような構成により、撮像装置11による1回の撮像動作で撮像される1つの撮像画像データから、分光情報及び偏光情報の両方を取得することができる。よって、高速な物体識別処理が実現することができる。
また、本実施形態では、撮像装置11は、自車両の進行方向前方領域を撮像領域として撮像するものであり、2種類の検出対象物には、自車両に近づく方向に進行する他車両である対向車両と自車両から離れる方向に進行する他車両である先行車両とが含まれており、少なくとも先行車両のテールランプ色の波長帯(赤色波長帯)についての分光情報及び対向車両のヘッドランプ色の波長帯(白色波長帯)についての分光情報を取得する。これにより、先行車両と対向車両を高精度に検出することができる。
特に、本実施形態においては、偏光情報を用いて、先行車両のテールランプ及び対向車両のヘッドランプから直接入射した直接光についての正規分光情報と、その正規分光情報と同じ波長帯を有する路面からの照り返し光についての非正規分光情報とを識別し、当該正規分光情報を用いて先行車両と対向車両とを検出する。撮像画像データ中に、先行車両のテールランプや対向車両のヘッドランプからの光が雨路面のような鏡面部で反射した照り返し光が映り込んでいる場合、その照り返し光は直接光と同じ波長帯で同程度の輝度を示すものであるため、直接光についての正規分光情報と照り返し光についての非正規分光情報とを識別することが困難である。本実施形態によれば、これらを高精度に識別できるので、照り返し光を先行車両や対向車両であると誤検知することが抑制される。
【符号の説明】
【0063】
1 撮像レンズ
2 光学フィルタ
2a 透過領域
2b 偏光領域
2c フィルタ領域
2d フィルタ偏光領域
3 センサ基板
4 画像センサ
4a フォトダイオード(受光素子)
4b マイクロレンズ
5 信号処理部
11 撮像装置
12 車両挙動センサ
13 車両検出制御装置
14 ヘッドランプ制御装置
【先行技術文献】
【特許文献】
【0064】
【特許文献1】特開2004-189229号公報

【特許請求の範囲】
【請求項1】
撮像領域内に存在する物体から発せられる光を画像センサで受光して撮像領域内を撮像する撮像手段と、
該撮像手段が撮像した撮像画像に基づいて互いに異なる波長帯の光を発する少なくとも2種類の検出対象物の検出処理を行う物体検出処理手段とを有する物体検出装置において、
上記撮像手段が撮像した撮像画像から、上記少なくとも2種類の検出対象物がそれぞれ発する光の波長帯である各検出波長帯についての分光情報を取得する分光情報取得手段と、
上記撮像手段が撮像した撮像画像から、該分光情報取得手段が取得する分光情報に対応した検出波長帯についての偏光情報を取得する偏光情報取得手段とを有し、
上記物体検出処理手段は、該分光情報取得手段が取得した分光情報と該偏光情報取得手段が取得した偏光情報を用いて上記少なくとも2種類の検出対象物の検出処理を行うことを特徴とする物体検出装置。
【請求項2】
請求項1の物体検出装置において、
上記画像センサは、受光素子が2次元配置された画素アレイを有するものであり、
上記撮像手段は、撮像領域からの光を上記各検出波長帯に分光して該各検出波長帯の光を上記画像センサ上の互いに異なる受光素子に入射させる分光部材と、該画像センサに入射される各検出波長帯の光について特定の偏光成分のみを遮光する偏光領域と該特定の偏光成分を透過する透過領域とを備えた偏光部材とを有し、
上記分光情報取得手段は、上記各検出波長帯の光を受光した各受光素子の受光量に基づく指標値を該各検出波長帯についての分光情報として取得し、
上記偏光情報取得手段は、上記偏光領域に対応する受光素子の受光量に基づく指標値を偏光情報として取得することを特徴とする物体検出装置。
【請求項3】
請求項1又は2の物体検出装置において、
上記撮像手段は、自車両の進行方向前方領域を撮像領域として撮像するものであり、
上記少なくとも2種類の検出対象物には、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とが含まれており、
上記分光情報取得手段は、少なくとも車両のテールランプ色の波長帯についての分光情報及び車両のヘッドランプ色の波長帯についての分光情報を取得することを特徴とする物体検出装置。
【請求項4】
請求項3の物体検出装置において、
上記物体検出処理手段は、上記偏光情報取得手段が取得した偏光情報を用いて、他車両のテールランプ及び他車両のヘッドランプから直接入射した光についての正規分光情報と、該正規分光情報と同じ波長帯を有する路面からの光についての非正規分光情報とを識別し、該正規分光情報を用いて、自車両に近づく方向に進行する他車両と自車両から離れる方向に進行する他車両とを検出することを特徴とする物体検出装置。
【請求項5】
車両の周囲を撮像領域として撮像し、該撮像領域内に存在する物体のうち互いに異なる波長帯の光を発する少なくとも2種類の検出対象物を検出する物体検出手段と、
該物体検出手段の検出結果に基づいて上記車両に搭載された車載機器の動作を制御する制御手段とを有する車載機器制御装置において、
上記物体検出手段として、請求項1乃至4のいずれか1項に記載の物体検出装置を用いたことを特徴とする車載機器制御装置。
【請求項6】
請求項5の車載機器制御装置において、
上記物体検出手段として、請求項3又は4の物体検出装置を用い、
上記制御手段は、上記物体検出手段の検出結果に基づいて、上記車両に搭載された車載機器であるヘッドランプの照射方向を変更し又は該ヘッドランプの発光強度を変更する制御を行うことを特徴とする車載機器制御装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図5】
image rotate

【図6】
image rotate

【図11】
image rotate


【公開番号】特開2012−117872(P2012−117872A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−266419(P2010−266419)
【出願日】平成22年11月30日(2010.11.30)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】