説明

夜間車両検知装置

【課題】夜間走行時における対向車両の光源と路上反射物とを識別し、車両前方の対向車両を精度良く検知することのできる夜間車両検知装置を提供する。
【解決手段】撮像手段によって撮像された画像内において、所定の第1閾値よりも大きな輝度を有する高輝度領域及び第1閾値より低く設定された第2閾値よりも大きな輝度を有する低輝度領域を抽出する領域抽出手段と、領域抽出手段の抽出結果に基づき高輝度領域に関連付けられた第1面積及び高輝度領域に近接する低輝度領域に関連付けられた第2面積を算出する面積算出手段と、面積算出手段により算出された第1面積と第2面積との比に基づいて、高輝度領域に対向車両の光源があるか否かを判別する判別手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、夜間車両検知装置に関する。
【背景技術】
【0002】
車両の夜間走行の際、車両の前方を撮像し、対向車両のヘッドランプ(「ヘッドライト」と称呼される場合もあり、本明細書では同義として扱う)を検出して、該対向車両を検知する夜間車両検知装置が知られている。
【0003】
ところで、ヘッドランプは車両の夜間走行時、運転者の視認性を良くするために前方に対向車両が存在しなければハイビームとすることが望ましい。しかし、自車両の前方に対向車両が存在する場合、対向車両に不快なグレアを与えないためにヘッドランプをロービームにする必要がある。そこで、夜間車両検知装置による検知結果は、例えばヘッドランプの配光に関する制御(以下、「配光制御」という)を行う際に利用されている。従って、この種の夜間車両検知装置では、対向車両を精度良く検知するための技術が重要となる。
【0004】
これに関連して、CCD(Charge Coupled Device)カメラ等の撮像手段により走行し
ている道路の路面を撮像し、得られたカラー画像を処理して道路上の白線や黄線等のレーンマークを検出し、検出した結果から認識される車両が走行する車線(走行レーン)の情報に基づいて、車両の走行制御や運転者への情報提示を行う技術が提案されている(例えば、特許文献1参照)。
【0005】
また、従来のヘッドライト制御装置として、車両に搭載された撮像手段が撮影した画像の解析を行う画像解析手段を備え、画像解析手段は、撮影された画像から高輝度検出用画像と低輝度検出用画像を取得し、高輝度検出用画像から対向車両のヘッドライトを検出し、低輝度検出用画像から先行車両のテールライトを検出するものが知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平11−53691号公報
【特許文献2】特開2005−92857号公報
【特許文献3】特開2008−148051号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、CCDカメラやCMOS(Complementary Metal Oxide Semiconductor
)カメラ等、可視光カメラのダイナミックレンジは比較的狭いのが実情である。その結果、反射光を発する道路標識、看板、リフレクタなどの物体(以下、これらをまとめて「路上反射物」と称す)と、対向車両におけるヘッドランプの双方における画像特徴量が類似する傾向があり、これらを分けて識別することが難しかった。
【0008】
本発明は、上記課題に鑑み、夜間走行時における対向車両の光源(ヘッドランプ等)と路上反射物とを識別(判別)し、車両前方の対向車両を精度良く検知することのできる夜間車両検知装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記した課題を解決するために、本発明にかかる夜間車両検知装置は、以下の手段を採用した。すなわち、自車両に搭載されて且つ該自車両の前方を撮像する撮像手段と、
前記撮像手段によって撮像された画像内において、所定の第1閾値よりも大きな輝度を有する高輝度領域、及び該第1閾値より低く設定された第2閾値よりも大きな輝度を有する低輝度領域を抽出する領域抽出手段と、
前記領域抽出手段の抽出結果に基づき、前記高輝度領域に関連付けられた第1面積、及び該高輝度領域に近接する低輝度領域に関連付けられた第2面積を算出する面積算出手段と、
前記面積算出手段により算出された前記第1面積と第2面積との比に基づいて、該高輝度領域に対向車両の光源があるか否かを判別する判別手段と、
を備えることを特徴とする。
【0010】
上記構成によれば、2つの異なる輝度閾値を用いた画像処理により、画像内における高輝度領域と、低輝度領域とが抽出される。第1閾値は、例えば対向車両のヘッドランプによるものと想定される光源を検出するために設定された輝度閾値である。高輝度領域は、対向車両の光源が存在する候補領域としての意義を有する。ここで「候補」とするのは、画像内において、反射光を発している路上反射物が存在する領域であっても、その輝度が第1閾値より大きい場合があるためである。
【0011】
本発明では、画像内における光源の中心側領域から外方に向かうにつれて輝度値が変化するときの性状が、対向車両の光源とする場合と路上反射物を光源とする場合とで大きく異なることに着目した。画像内に対向車両の光源(例えば、ヘッドランプ)があると所謂ハレーションを起こすため、光源の中心側領域から外方へ向かうに従って輝度値は徐々に低下する。一方、画像内における光源が路上反射物である場合にはハレーションが起こらないため、反射光を発する部分が存在する領域内からその外部へと移行した途端に輝度が急激に低下する。
【0012】
その結果、自車両前方に存在する光源が路上反射物である場合に比べて、対向車両の光源である場合には、画像内における高輝度領域とその高輝度領域に近接する(例えば、包含する)低輝度領域との面積差が顕著に大きくなる。そのため、自車両前方に存在する光源の違いは、高輝度領域に関連付けられた第1面積と、その高輝度領域に近接する低輝度領域に関連付けられた第2面積との比の大小に対して顕著に影響を及ぼす。本発明によれば、第1面積と第2面積との比に基づいて高輝度領域に対向車両の光源があるか否かを判別するため、対向車両の検知精度を高めることができる。
【0013】
なお、高輝度領域及び第1面積の関連性とは、第1面積が高輝度領域の面積に相関のある面積として算出されることを意味する。同様に、低輝度領域及び第2面積の関連性とは、第2面積が低輝度領域の面積に相関のある面積として算出されることを意味する。例えば、前記面積算出手段は、前記高輝度領域の面積を前記第1面積として算出し、且つ前記低輝度領域の面積を前記第2面積として算出しても良い。
【0014】
また、第1面積に対する第2面積の比を考えると、画像内の光源が路上反射物である場合に比べて対向車両の光源である場合の方が相対的に大きい値を示す。そこで、判別手段は、第1面積に対する第2面積の比を所定の判定基準比と対比し、該判定基準比よりも大きい場合に、高輝度領域における光源が対向車両の光源であると判別しても良い。判定基準比は、画像内の高輝度領域に、対向車両の光源と路上反射物の何れがあるのかを判別するための基準となる面積比の閾値である。これにより、自車両前方の光源が対向車両によるものか否かを好適に判別することができる。
【0015】
また、夜間車両検知装置は、前記画像内において、前記領域抽出手段により抽出された
高輝度領域の周囲にマージン領域が形成されるように該高輝度領域を包含するマージン枠を生成するマージン枠生成手段を、更に備え、
前記面積算出手段は、少なくとも前記領域抽出手段により抽出された低輝度領域における前記マージン枠の外側に属する領域を除外して前記第2面積を算出することができる。例として、面積算出手段は、低輝度領域とマージン枠の内側の領域とが重複する領域の面積を第2面積として算出しても良い。
【0016】
画像内に複数の光源が存在する際に光源に対応する低輝度領域同士が互いに重なり合う場合があるが、このような状況においては低輝度領域の境界が画定しないため、低輝度領域に関連付けられる第2面積を適正な面積として導出することが難しくなる。そこで、この構成のように、高輝度領域を包含するマージン枠を生成し、低輝度領域に関連付けて導出する第2面積を算出するに当たり、低輝度領域からマージン枠の外側領域を除外することで、マージン枠に含まれる高輝度領域に対応する光源以外の、他の光源の影響を受けることなく、マージン枠内の高輝度領域が対向車両の光源であるか路上反射物であるかを的確に判別することができる。
【0017】
夜間車両検知装置において、前記面積算出手段は、該マージン枠の内側に属する領域の面積を前記第1面積として算出することができる。更に、前記マージン枠生成手段は、前記高輝度領域を包含する矩形枠として前記マージン枠を生成しても良い。これにより、マージン枠を単純な形状とすることで、本検知装置における処理速度、効率が向上するため、対向車両の検知に要する時間を短縮することができる。
【0018】
また、夜間車両検知装置において、前記面積算出手段は、前記マージン枠の内側に属する領域から前記高輝度領域を差し引いた面積を前記第1面積として算出し、且つ前記低輝度領域から前記マージン枠の外側に属する領域と該高輝度領域とを差し引いた面積を前記第2面積として算出することもできる。
【0019】
また、夜間車両検知装置において、前記領域抽出手段により複数の高輝度領域が抽出された場合に、該複数の高輝度領域から対向車両の光源の候補となる一対の高輝度領域を選定する選定手段を、更に備え、
前記マージン枠生成手段は、前記選定手段により選定された一対の高輝度領域をまとめて包含する(ひとまとめに包含する)マージン枠を生成することができる。
【0020】
ここで、自車両の前方に4輪の対向車両が存在する場合を考えると、通常、撮像手段により撮像された画像内には、水平方向に車幅程度の間隔を挟んで並ぶ1対の光源が映し出される。従って、画像内において、水平方向に車幅程度の間隔を挟んで並ぶ1対(1組)の高輝度領域が領域抽出手段によって抽出された場合、その一対の高輝度領域は対向車両の光源である確度が高い。
【0021】
そこで、この構成では、対向車両の光源である可能性が高い一対の高輝度領域を画像内から選定し、これらをひとまとめにしてマージン枠を生成するようにした。ここで、面積算出手段は、抽出された低輝度領域におけるマージン枠の外側に属する領域を除外して第2面積を算出する。更に、面積算出手段は、一対の高輝度領域の総面積や、マージン枠の内側領域の面積を第1面積として算出すると良い。これにより、選定手段により選定された一対の高輝度領域をひとまとめとして、対向車両の光源であるか否かの判別を行うことができる。従って、自車両の前方に存在する対向車両を、より速やかに検知することができる。
【0022】
上記構成において、選定手段により選定されない高輝度領域が画像内に存在する場合、その高輝度領域は対向車両の光源である確度が低いと考えることができる。そこで、判別
手段は、選定手段により選定されなかった高輝度領域については、該高輝度領域に対向車両の光源があるか否かを判別しないようにしても良い。これによれば、対向車両である可能性が低い光源について、徒に判別が行われることを回避することができ、対向車両の検知を合理的に行うことができる。
【0023】
また、夜間車両検知装置は、前記画像内における前記高輝度領域に含まれるエッジ長さを算出するエッジ長さ算出手段を、更に備え、
前記判別手段は、前記第1面積と第2面積との比、及び該第1面積と前記エッジ長さ算出手段により算出されたエッジ長さとの比、の双方に基づいて、該高輝度領域に対向車両の光源があるか否かを判別することができる。
【0024】
また、他の観点による夜間車両検知装置は、自車両に搭載されて且つ車外を撮像する撮像手段と、
前記撮像手段によって撮像された画像内において、所定の第1閾値よりも大きな輝度を有する高輝度領域を抽出する領域抽出手段と、
前記画像内における前記高輝度領域に含まれるエッジ長さを算出するエッジ長さ算出手段と、
前記高輝度領域の面積と前記エッジ長さ算出手段により算出されたエッジ長さとの比に基づいて、該高輝度領域に対向車両の光源があるか否かを判別する判別手段と、を備えることを特徴とする。
【0025】
エッジとは、画像内における高輝度部分と低輝度部分との境界のことであり、画像を特徴づける線要素である。ここで、高輝度領域に含まれるエッジの長さであるエッジ長さが、対向車両の光源とする場合と路上反射物を光源とする場合とで相違する点に着目する。
【0026】
例えば、対向車両のヘッドランプが撮像された場合、画像内の高輝度領域における外縁(輪郭)部分がエッジとして抽出される。一方、路上反射物が撮像された場合、高輝度領域の外縁に加えて、路上反射物表面に描かれた文字、絵、図などの縁部に相当する部分もエッジとして抽出される。その結果、例えば、高輝度領域の大きさが同等であれば、ヘッドランプよりも路上反射物に対応する高輝度領域の方が、算出されるエッジ長さが長くなる。
【0027】
そこで、エッジ長さ算出手段によって画像内の高輝度領域に含まれるエッジ長さを算出し、高輝度領域の面積とエッジ長さとの比を求めることにおり、その大小に基づいて、高輝度領域に対向車両の光源があるか否かを判別することができる。なお、例えば高輝度領域に含まれるエッジに該当する部分の画素の総数を算出し、これをエッジ長さと見なしても良い。
【0028】
高輝度領域の面積に対するエッジ長さの比の大きさを考えると、画像内の光源が路上反射物である場合に比べて対向車両の光源である場合の方が相対的に小さな値を示す。そこで、判別手段は、高輝度領域の面積に対するエッジ長さの比が所定値以下の場合に、高輝度領域における光源が対向車両の光源であると判別しても良い。この所定値は、高輝度領域にある光源が対向車両の光源であるかどうかを判別するための閾値である。この構成によれば、自車両の前方に対向車両が存在する場合、路上反射物が存在する場合に比べて相対的に、画像内における高輝度領域に含まれるエッジの長さが短くなる(例えば、エッジに相当する部分の画素数が少なくなる)ことを利用して、車両の前方に対向車両が存在するか否かを好適に検知することができる。
【0029】
なお、本発明における課題を解決するための手段は、可能な限り組み合わせることができる。
【発明の効果】
【0030】
本発明に係る夜間車両検知装置によれば、夜間走行時における対向車両の光源と路上反射物とを識別し、対向車両を精度良く検知することができる。
【図面の簡単な説明】
【0031】
【図1】実施例1に係る夜間車両検知装置を備えるシステムを車両に搭載した構成を模式的に示した図である。
【図2】実施例1の夜間車両検知装置における光源判別制御の内容を説明するための説明図である。(a)は、単一のヘッドランプHLと路上反射物RSとが並んで配置されている画像を模式的に示す図である。(b)は、(a)に示した画像に対して、高輝度用閾値SHを用いて2値化処理を行った後の画像を示す図である。(c)は、(a)に示した画像に対して、低輝度用閾値SLを用いて2値化処理を行った後の画像を示す図である。
【図3】実施例1における画像処理ユニットの内部構成を示した模式図である。
【図4】実施例1における光源判別制御ルーチンを示したフローチャートである。
【図5】実施例2における画像処理ユニットの内部構成を示した模式図である。
【図6】高輝度光点領域FHBの周囲に生成されるマージン枠CMZについて説明するための説明図である。
【図7】実施例2における光源判別制御の内容を説明するための説明図である。(a)は、カメラが撮像した車両前方画像の一例を示す図である。(b)は、(a)に示した画像に対して、高輝度用閾値SHを用いて2値化処理を行った後の画像を示す図である。(c)は、(a)に示した画像に対して、低輝度用閾値SLを用いて2値化処理を行った後の画像を示す図である。
【図8】実施例3における画像処理ユニットの内部構成を示した模式図である。
【図9】実施例3における光源判別制御ルーチンを示したフローチャートである。
【図10】実施例3におけるマージン枠CMZUの高輝度光点領域FHB及び低輝度光点領域FLBとの関係を説明するための説明図である。
【図11】実施例4における画像処理ユニットの内部構成を示した模式図である。
【図12】実施例4における光源判別制御ルーチンを示したフローチャートである。
【図13】対向車両のヘッドランプHL及び路上反射物RSにそれぞれ対応する高輝度光点領域FHBに含まれるエッジの抽出結果の一例を示す図である。
【発明を実施するための形態】
【0032】
以下に図面を参照して、この発明を実施するための形態を例示的に詳しく説明する。尚、本実施の形態に記載されている構成要素の寸法、材質、形状、その相対配置等は、特に特定的な記載がない限りは、発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【0033】
<実施例1>
図1は、本実施例に係る夜間車両検知装置1を備えるシステムを自動車などの車両(自車両)100に搭載した構成を模式的に示した図である。本実施例に係る夜間車両検知装置1は、カメラ(撮像手段)101と、画像処理ユニット102を有する。カメラ101は、レンズとCCD(charge-coupled device)やCMOS(complementary metal oxide
semiconductor)等の撮像素子により、車両100が走行する前方を撮像する。カメラ101は、運転室のルームミラーのステイ(図示省略)付近に配設されているが、車体前部のバンパ、グリルなどに設けることも可能である。
【0034】
カメラ101により撮像された自車両前方の画像は、画像信号化されて画像処理ユニット102に入力される。画像処理ユニット102は、例えばCPU(Central Processing
Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、及び入出力
インターフェイスなどを備えて構成される自動車デバイスのコンピュータであり、カメラ101から送信された画像の解析処理を行う。
【0035】
ところで、車両100の夜間走行時において、ヘッドランプ(「ヘッドライト」と称呼される場合もあり、本明細書では同義として扱う)104は、運転者の視認性を良くするために前方に対向車両が存在しなければハイビームとすることが望ましい。しかし、前方に対向車両が存在する場合、対向車両に不快なグレアを与えないためにヘッドランプ104をロービームにする必要がある。
【0036】
そこで、本実施例のシステムは、ヘッドランプ104の配光制御を行う配光制御ユニット103を備えている。そして、画像処理ユニット102は、カメラ101から送信された画像を解析し、画像内に対向車両のヘッドランプHL(以下、符号HL付された「ヘッドランプ」は、対向車両のヘッドランプを意味するものであり、本発明における「対向車両の光源」に対応している)に相当する光源の検出を試みる。そして、画像内におけるヘッドランプHLに相当する光源の有無に基づき車両100前方に対向車両が存在するか否かを判別し、その判別結果が配光制御ユニット103に入力される。
【0037】
配光制御ユニット103は、画像処理ユニット102からの出力信号を受け、ヘッドランプ104を制御する制御信号を生成する。配光制御ユニット103が生成した制御信号は、ヘッドランプ104に送られる。具体的には、配光制御ユニット103は、車両100の前方に対向車両が存在する事を表す出力信号を画像処理ユニット102から受けた場合にはヘッドランプ104のハイビームに対応する印加電圧量(供給電流量であっても良い)を算出する一方、前方に対向車両が存在しない事を表す出力信号を受けた場合にはロービームに対応する印加電圧量を算出し、この算出結果を基にヘッドランプ104に電圧を供給する配光制御を行う。
【0038】
以上のように、本実施例の夜間車両検知装置1による対向車両の検知結果は、ヘッドランプ104の配光制御に用いられるため、自車両100の運転者の視認性、安全性を確保しつつ対向車両の運転者に対して不快なグレアを与えることを回避するには、同装置1における検知精度の向上が重要となる。しかしながら、路上には、道路標識、看板、リフレクタなどの路上反射物RSが存在する。そして、例えば自車両又は他車両のヘッドランプの光が当たるなどして反射光を発している状態の路上反射物RSがカメラ101により撮像されると、路上反射物RSを対向車両のヘッドランプHLと誤認することが懸念される。そうすると、自車両100のヘッドランプ104を、本来であればハイビームとすべきところをロービームとして制御してしまい、自車両100における運転者の視認性、安全性を低下させてしまう要因となる。
【0039】
そこで、本検知装置1においては、車両100前方に存在する光源が、対向車両のヘッドライトHLと路上反射物RSの何れによるものであるのかについて精度よく識別できる独自の判別制御、判別方法を採用する。その概略を述べると、画像処理ユニット102は、カメラ101により撮像された同一の画像に対して、高輝度用閾値SHと低輝度用閾値SLの2つの異なる輝度閾値を用いて2値化処理を行い、画像内において、高輝度用閾値SHよりも輝度の大きな領域(以下、「高輝度光点領域FHB」と称する)と、低輝度用閾値SLよりも輝度の大きな領域(以下、「低輝度光点領域FLB」と称する)と、のそれぞれを画像から抽出する。
【0040】
更に、画像処理ユニット102は上記抽出結果に基づき、高輝度光点領域FHBに関連付けられた第1対象領域面積A1st(第1面積)、及び該高輝度光点領域FHBに近接する低輝度光点領域FLBに関連付けられた第2対象領域面積A2nd(第2面積)を算
出し、第1対象領域面積A1st及び第2対象領域面積A2ndの比に基づいて、車両100前方に存在する光源が対向車両のヘッドライトHLと路上反射物RSの何れであるのかを判別する制御(以下、「光源判別制御」と称す)を行う。
【0041】
図2は、本実施例の夜間車両検知装置1における光源判別制御の内容を説明するための説明図である。図2(a)は、単一のヘッドランプHLと路上反射物RSとが並んで配置されている画像を模式的に示した図である。通常、対向車両が4輪車の場合、ヘッドランプHLは車両前部の左側面近傍と右側面近傍の各々に配置されている。従って、ヘッドランプHLを照射している対向する4輪車をカメラ101で撮像した場合、水平方向に所定の間隔を挟んで並んだ1対の光源が映し出されるが、ここでは説明の簡素化を図るため、単一のヘッドランプHLと路上反射物RSとが横並びに配置されている場合を例に説明する(或いは、バイクなど2輪車両のヘッドランプHLを想定しても良い)。なお、図中の符号「a」がヘッドランプHLに対応し、符号「b」が路上反射物RSに対応している。また、右図の「50」との文字は、道路標識(路上反射物RS)に描かれた文字を意図するものである。
【0042】
図2(b)は、図2(a)に示した画像に対して、高輝度用閾値SHを用いて2値化処理を行った後の画像を示したものである。図2(c)は、図2(a)に示した画像に対して、高輝度用閾値SHよりも低く設定された低輝度用閾値SLを用いて2値化処理を行った後の画像を示したものである。2値化処理とは、濃淡のある画像を白と黒の2階調に変
換する処理であり、例えば輝度閾値を基準として、画像内における各画素の輝度(値)が輝度閾値より大きければ白、輝度閾値以下であれば黒に置き換える処理をいう。
【0043】
図2(b)において、画像内における高輝度光点領域FHBを白抜き(符号「a1」、「b1」を付す)にて表し、画像内における高輝度光点領域FHB以外の領域(すなわち、高輝度用閾値SH以下の輝度を有する領域)をハッチングにて表す。同様に、図2(c)において、画像内における低輝度光点領域FLBを白抜き(符号「a2」、「b2」を付す)にて表し、画像内における低輝度光点領域FLB以外の領域(すなわち、低輝度光点領域FLB以下の輝度を有する領域)をハッチングにて表す。
【0044】
まず、高輝度用閾値SHについて説明する。高輝度用閾値SHは、例えば対向車両のヘッドランプHLによるものと想定される光源を検出するために設定された輝度閾値である。この実施例では、ヘッドランプHLの光源中心部に比較的近い光源の中心側領域の輝度が、少なくとも高輝度用閾値SHよりも大きくなるように、すなわち画像を2値化した場合には当該領域が白に置き換えられるように高輝度用閾値SHの値が決められている。
【0045】
高輝度光点領域FHBは、光を照射しているヘッドランプが存在する候補領域としての意義を有する。ここで、「候補」と述べたのは、反射光を発している路上反射物RSが存在する領域も、その輝度が高輝度用閾値SHより高くなることがあるためである。この場合、図2(b)に示すように、路上反射物RSが存在する領域が、高輝度光点領域FHBとして検出されてしまう。これは、高輝度用閾値SHのみを用いて画像の2値化処理を行うだけでは、路上反射物RSとヘッドランプHLとを識別、或いは判別することが困難であることを示唆する。
【0046】
そこで、本検知装置1においては、ヘッドランプHLを光源とする場合と路上反射物RSを光源とする場合とにおいて、光源の中心側領域から外方に向かう(つまり、光源から離間する)につれて輝度値が変化するときの性状(輝度値の変化性状)が相違する点に着目した。ヘッドランプHLは、その発光量が多く、画像内において所謂ハレーション(「レンズフレア」と称呼される場合もある)を起こす。そのため、画像内にヘッドランプHLに相当する光源がある場合、その光源の中心側領域から外方へ向かうに従って輝度の値
が徐々に低下してゆく。一方、道路標識などの路上反射物RSはヘッドランプHLに比べて発光量が少ないため、画像内において、反射光を発する光源としての反射面が存在する領域(以下、「反射面領域」ともいう)内での輝度は大きいが、該反射面領域内から同領域外へと移行した途端に輝度が急激に低下する。
【0047】
本実施例では、画像内において、光源の中心側領域から外方に向かう過程における輝度値の変化性状の差異を利用して、高輝度光点領域FHBにおける光源がヘッドランプHLと路上反射物RSの何れであるのかを判別・識別する。そして、上記輝度値の変化性状の差異を検知、検出するために、画像処理ユニット102は、カメラ101により撮像された同一の画像に対して、高輝度用閾値SHの他に低輝度用閾値SLを用いて2値化処理を行うようにしている。
【0048】
図2(c)中の破線は、既述の高輝度光点領域FHBの外縁を図示したものである。低輝度用閾値SLは、高輝度用閾値SHよりも低く設定されるため、基本的には図示のように、ヘッドランプHL及び路上反射物RSの何れを光源としても、高輝度光点領域FHBが低輝度光点領域FLBに包含される。ここでの「包含」とは、低輝度光点領域FLBと高輝度光点領域FHBの、画像内における位置が一致する場合を含む概念である。
【0049】
また、既に述べた通り、路上反射物RSに関してはハレーションが起こらず、反射面領域の内外における輝度差は顕著となる。従って、この図においては、高輝度光点領域FHBの面積(破線に囲まれた面積)と、それを包含する低輝度光点領域FLBの面積(実線で囲まれた面積)が、ほぼ等しい。一方、ヘッドランプHLを光源とする場合、光源の中心側領域の周辺にハレーションが起こるため、画像内において光源中心側領域から離間するに従って徐々に(緩やかに)輝度が低下していく。言い換えると、画像内において光源中心側領域から離間する際に急激に輝度が低下することがない。その結果、高輝度光点領域FHB(破線に囲まれた領域)と、その周囲に存在する低輝度光点領域FLB(実線に囲まれた領域)との面積差が、路上反射物RSを光源とする場合に比べて顕著に大きくなる。
【0050】
その結果、車両100前方に存在する光源が路上反射物RSである場合に比べて、対向車両のヘッドランプHLである場合、高輝度光点領域FHBに対する、該高輝度光点領域FHBを包含する低輝度光点領域FLBの面積比が大きな値を示すことが判る。そこで、本実施例の光源判別制御では、上記面積比を所定の判定基準比と対比し、その大小関係に基づいて車両100前方に対向車両が存在するか(すなわち、ヘッドランプHLが存在するか)どうかを判別する。
【0051】
低輝度用閾値SLは、ヘッドランプHLと路上反射物RSの双方における上記輝度値変化性状の差異が、画像の2値化処理の結果に明確に現れるような値として設定されている。より具体的に述べると、高輝度光点領域FHBにある光源がヘッドランプHLである場合には高輝度光点領域FHBとその周囲に現れる低輝度光点領域FLBとの面積差が十分に大きな値となり、且つ、上記光源が路上反射物RSである場合には高輝度光点領域FHBとその周囲の低輝度光点領域FLBとの面積差が小さな値として得られるように、低輝度用閾値SLを設定する。低輝度用閾値SLの具体的な数値は、実験などの経験則に基づいて適正な値を求めておくと良い。
【0052】
図3は、本実施例における画像処理ユニット102の内部構成を示した模式図である。画像処理ユニット102は、領域抽出部(領域抽出手段)1021と、面積算出部(面積算出手段)1022、判別部(判別手段)1023を含む。図4は、本実施例における光源判別制御ルーチンを示したフローチャートである。本制御ルーチンは、ヘッドランプ104がONの状態で車両100が走行している場合、一定時間毎に繰り返し行われるルー
チンであり、画像処理ユニット102によって実行される。以下、図3及び4を参照して、画像処理ユニット102を構成する各部の機能、処理内容について説明する。
【0053】
図4に示す光源判別制御ルーチンが実行されると、ステップS101では、カメラ101が車両100前方を撮像した画像(以下、「車両前方画像」という)が画像処理ユニット102の領域抽出部1021に入力される。すなわち、領域抽出部1021はカメラ101から車両前方画像を受信する。画像処理ユニット102の領域抽出部1021は、カメラ101から車両前方画像を受信すると、ステップS102において、車両前方画像から高輝度光点領域FHBを抽出する。
【0054】
より詳細に述べると、領域抽出部1021は、高輝度用閾値SHを用いて車両前方画像の2値化を行い、車両前方画像内において高輝度用閾値SHより大きな輝度を有する領域を白(明領域)に変換し、且つ、高輝度用閾値SH以下の輝度を有する領域を黒(暗領域)に変換する。以下、高輝度用閾値SHによる2値化処理後の車両前方画像を、特に「高輝度2値化後画像」とも称する場合がある(図2(b)に示した画像に該当する)。
【0055】
更に、領域抽出部1021は、車両前方画像(高輝度2値化後画像)内において1又は複数の高輝度光点領域FHBが存在する場合、各々の高輝度光点領域FHBに対して例えば番号、符号などからなるラベルを付すラベリング処理を施す。「ラベリング処理」とは一般に、画像上の画素の集合にラベルを付けることで画素を分類する処理のことをいう。この処理を行うことによって画像上の画素を分類できるため、ラベリングされた領域ごとに区別して画像処理することができる。またラベリングされた領域の情報(面積、形状)をまとめることで、画像情報のサイズ(データサイズ)を小さくすることができる。なお、図2(b)中の符号「a1」、「b1」などがラベルに該当する。
【0056】
次に、ステップS103において領域抽出部1021は、車両前方画像内における低輝度光点領域FLBを抽出する。具体的には、ステップS102と同様の手順により、低輝度用閾値SLを用いて車両前方画像の2値化を行い、車両前方画像内における低輝度用閾値SLより大きな輝度を有する領域を白(明領域)に変換し、且つ、低輝度用閾値SL以下の輝度を有する領域を黒(暗領域)に変換する。以下、低輝度用閾値SLによる2値化処理後の車両前方画像を、特に「低輝度2値化後画像」とも称する場合がある。
【0057】
更に、領域抽出部1021は、車両前方画像(低輝度2値化後画像)内において1又は複数の低輝度光点領域FLBが存在する場合、各々の低輝度光点領域FLBに対してラベリング処理を施す。
【0058】
次に、ステップS104では、画像処理ユニット102は、車両前方画像内に、対向車両のヘッドランプHLの候補(ここで「候補」としたのは、車両100の前方の光源が、路上反射物RSであるケースがあることによる)となる光源が存在するかどうかを判定する。具体的には、ステップS102において作成された高輝度2値化後画像にアクセスし、この画像内に高輝度光点領域FHBが存在するか否かに基づいて判断する。高輝度2値化後画像内に高輝度光点領域FHBが存在する場合、ヘッドランプHLの候補となる光源が存在すると判定され、ステップS105に進む。一方、高輝度2値化後画像内に高輝度光点領域FHBが存在しない場合、ヘッドランプHLの候補となる光源が存在しないと判定され、ステップS111に進む。
【0059】
次に、ステップS105において、面積算出部1022は、領域抽出部1021の抽出結果に基づき、高輝度光点領域FHBに関連付けられて導出される第1対象領域面積A1st、及びこの高輝度光点領域FHBに近接する(例えば、包含する)低輝度光点領域FLBに関連付けられて導出される第2対象領域面積A2ndをそれぞれ算出する。本実施
例において、面積算出部1022は、高輝度光点領域FHBの面積を第1対象領域面積A1stとして算出し、且つ低輝度光点領域FLBの面積を第2対象領域面積A2ndとして算出する。ここで、高輝度光点領域FHB内に含まれる画素数を第1対象領域面積A1stと見なしても良く、低輝度光点領域FLB内に含まれる画素数を第2対象領域面積A2ndと見なしても良い。
【0060】
なお、車両前方画像内に複数の高輝度光点領域FHBが存在する場合、面積算出部1022は、高輝度光点領域FHBとこれに対応する(高輝度光点領域FHBの周囲を包含する)低輝度光点領域FLBの組み合わせ毎に、第1対象領域面積A1st及び第2対象領域面積A2ndを算出する。
【0061】
次に、ステップS106では、判別部1023は、面積算出部1022により算出された第1対象領域面積A1stに対する第2対象領域面積A2ndの比(以下、単に「領域面積比」と称す)Ra(Ra=A2nd/A1st)を算出する。上記のように、車両前方画像内に複数の高輝度光点領域FHBが存在する場合、高輝度光点領域FHB及び低輝度光点領域FLBの組み合わせ毎に、領域面積比Raを算出する。
【0062】
次に、ステップS107において、判別部1023は、ステップS106において算出した領域面積比Raが所定の判定基準比Rabよりも大きいか否かを判定する。判定基準比Rabは、高輝度光点領域FHBにある光源(すなわち、車両100前方に存在する光源)が、対向車両のヘッドランプHLと路上反射物RSの何れであるのかを判別するための基準となる比の値である。
【0063】
本ステップにおいて、領域面積比Raが判定基準比Rabよりも大きいと判定された場合(車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、何れかの領域面積比Raが判定基準比Rabより大きいと判定された場合)、ステップS108に進む。一方、領域面積比Raが判定基準比Rab以下であると判定された場合(車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、全ての領域面積比Raが判定基準比Rab以下であると判定された場合)、ステップS110に進む。
【0064】
ステップS108において、判別部1023は、高輝度光点領域FHBにヘッドランプHLがあると判別する。なお、車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、複数のうちの少なくとも一の高輝度光点領域FHBにヘッドランプHLがあると判別する。
【0065】
次に、ステップS109において判別部1023は、自車両100の前方に対向車両が存在する事を表す内容の情報信号(対向車両有り信号)を生成し、配光制御ユニット103に対してこの情報信号を出力する。画像処理ユニット102からの情報信号を受けた配光制御ユニット103は、その情報信号の内容に基づいてヘッドランプ104を制御する。この場合、情報信号は、自車両100の前方に対向車両が存在する事を表すため、配光制御ユニット103は、ヘッドランプ104がロービームとなるように配光制御を行う。本ステップの処理が終了すると、本ルーチンを一旦終了する。
【0066】
ステップS110において、判別部1023は、高輝度光点領域FHBに路上反射物RSがあると判別する。なお、車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、全ての高輝度光点領域FHBが路上反射物RSであると判別する。
【0067】
次に、ステップS111において判別部1023は、自車両100の前方に対向車両が存在しない事を表す内容の情報信号(対向車両無し信号)を生成し、配光制御ユニット103に対してこの情報信号を出力する。画像処理ユニット102からの情報信号を受けた
配光制御ユニット103は、ヘッドランプ104がハイビームとなるように配光制御を行う。本ステップの処理が終了すると、本ルーチンを一旦終了する。
【0068】
以上のように、本実施例に係る夜間車両検知装置1によれば、夜間走行時において、自車両100の前方における対向車両のヘッドランプHLと路上反射物RSとを識別し、対向車両を精度良く検知することが可能となる。そして、ヘッドランプ104の配光制御を、車間車両検知装置1による対向車両の検知結果に基づいて適正に行うことができる。従って、自車両100の運転者の視認性の確保と、対向車両の運転者に対して不快なグレアを与えることの回避とを両立することができる。
【0069】
本実施例においては、高輝度用閾値SH、低輝度用閾値SL、高輝度光点領域FHB、低輝度光点領域FLB、第1対象領域面積A1st、第2対象領域面積A2ndのそれぞれが、本発明における第1閾値、第2閾値、高輝度領域、低輝度領域、第1面積、第2面積のそれぞれに対応する。
【0070】
また、本実施例の光源判別制御に際して、判定基準比Rabの設定値が高いほど、高輝度光点領域FHBにおける光源が路上反射物RSであると判別され易く、判定基準比Rabの設定値が低いほど高輝度光点領域FHBにおける光源がヘッドランプHLであると判別され易くなる。従って、路上反射物RS及びヘッドランプHLを互いに誤って認識することがないように、予め実験などの経験則に基づいて判定基準比Rabとしての適正な値を求めておくと良い。
【0071】
また、上記制御ルーチンでは、車両前方画像内に対向車両のヘッドランプHLの候補となる光源が存在するかどうかを、画像内に高輝度光点領域FHBが存在するか否かに基づいて判断しているが(ステップS104)、他の条件に基づいて判断しても良い。例えば、画像内に高輝度光点領域FHBが存在する場合であっても、更に、高輝度光点領域FHBにおける画像特徴量(例えば面積、位置、形状等)の条件が一定の条件を満たす場合のみ、車両前方画像内に対向車両のヘッドランプHLの候補となる光源が存在すると判断することもできる。この条件とは、例えば高輝度光点領域FHBの面積が一定サイズ以上である、領域形状が円形或いは楕円形である、水平方向に車幅程度の間隔をあけて並ぶ1対の領域である、等の条件を例示できる。
【0072】
<実施例2>
次に、第2の実施例について説明する。本実施例における夜間車両検知装置は、画像処理ユニットの内部構成の一部が実施例1と相違する。図5は、本実施例における画像処理ユニット102Aの内部構成を示した模式図である。図5に示すように、画像処理ユニット102Aは、マージン枠生成部(マージン枠生成手段)1024を更に具備する点で、実施例1の画像処理ユニット102と相違する。このマージン枠生成部1024は、カメラ101が撮像した車両前方画像内において、領域抽出部1021により抽出された高輝度光点領域FHBの周囲にマージン枠CMZを生成する。
【0073】
図6は、高輝度光点領域FHBの周囲に生成されるマージン枠CMZについて説明するための説明図である。図中の符号「FHB」、「FLB」は、実施例1と同様に高輝度光点領域、低輝度光点領域のそれぞれを表す。本図は、マージン枠CMZやその生成方法を説明するための説明図であり、高輝度光点領域FHB、低輝度光点領域FLBなどの形状等は例示に過ぎない。
【0074】
マージン枠生成部1024は、高輝度光点領域FHBの周囲にマージン領域FMZが形成されるように、高輝度光点領域FHBを包含するマージン枠CMZを生成する。この図では、高輝度光点領域FHBにおける外周部の一部と接する矩形枠(以下、「当接矩形枠
」と称す)CHBを生成し、更に、当接矩形枠CHBを含み且つ該当接矩形枠CHBに一定長を加えた周長を有する矩形枠としてマージン枠CMZを生成(作成)している。
【0075】
なお、図6は、高輝度光点領域FHBの周囲にマージン領域FMZが形成されるように高輝度光点領域FHBを包含するマージン枠CMZの例示をしたものであり、図示以外の形態を採用しても構わない。例えば、当接矩形枠CHBを所定縮尺で拡大した相似形状としても良い。また、画像処理ユニット102Aでの画像処理の効率、処理速度の向上を図る観点からはマージン枠CMZの形状をなるべく単純な形状とした方が有利であるが、例えば凸多角形など、矩形以外の形状を採用することもできる。
【0076】
図7は、実施例2における光源判別制御の内容を説明するための説明図である。図7(a)は、カメラ101が撮像した車両前方画像の一例を示す図である。この図において、図中の符号「Xa」、「Xb」が対向車両のヘッドランプHLに対応し、符号「Y」が路上反射物RSに対応している。なお、一対の「Xa」、「Xb」は、4輪の対向車両における左右のヘッドランプのそれぞれに対応している。
【0077】
図7(b)は、図7(a)に示した車両前方画像に対して高輝度用閾値SHを用いて2値化処理を行った後の画像(高輝度2値化後画像)を示す図である。図7(c)は、図7(a)に示した車両前方画像に対して低輝度用閾値SLを用いて2値化処理を行った後の画像(低輝度2値化後画像)を示す図である。
【0078】
画像処理ユニット102Aは、領域抽出部1021において、高輝度用閾値SHを用いて車両前方画像の2値化を行い、該車両前方画像内において高輝度光点領域FHBを抽出する。図7(b)には、抽出された高輝度光点領域FHBが示されている。符号「Xa1」、「Xb1」、「Y1」の各々は、光源「Xa」、「Xb」、「Y」の各々に対応する高輝度光点領域FHBに付されたラベルである。
【0079】
高輝度用閾値SHは、ヘッドランプHLを光源とした場合の光源中心部に比較的近い領域の輝度のみが、その値を超えるように設定されているため、光源「Xa」、「Xb」、「Y」に対応する個々の高輝度光点領域FHBは互いに独立している。そのため、光源「Xa」、「Xb」、「Y」の各々に対応する高輝度光点領域FHBには、個別のラベル(Xa1、Xb1、Y1)が付される。
【0080】
領域抽出部1021は、低輝度用閾値SLを用いて車両前方画像の2値化を行い、車両前方画像内において低輝度光点領域FLBを抽出する。図7(c)には、抽出された低輝度光点領域FLBが示されている。図から判るように、光源「Xa」、「Xb」、「Y」に対応する低輝度光点領域FLBは、その領域の一部が互いに重なり合っている。そうすると、光源「Xa」、「Xb」、「Y」毎に対応する低輝度光点領域FLBの領域(範囲)を画定することはできない。そのため、領域抽出部1021は、画像内にひとまとまりの(一つの領域としての)低輝度光点領域FLBが存在すると判断する。従って、ラベリング処理においても、一つの連続した低輝度光点領域FLB(ここでは、3つの円の一部同士が互いに重なり合った形状となっている)に単一のラベル「Z」が付される。
【0081】
実施例1に係る光源判別制御では、領域面積比Raを算出するための第1対象領域面積A1st及び第2対象領域面積A2ndを、高輝度光点領域FHBの面積及び低輝度光点領域FLBの面積として算出した。しかし、図7に示したような条件下では、光源毎に対応する低輝度光点領域FLBの面積を個別に算出することができないため、このままでは第2対象領域面積A2ndを適正な値として算出することができない。
【0082】
例えば、図7の光源「Y」は、実際は路上反射物RSである。しかし、ヘッドランプH
Lであるかどうかを判別する際、第1対象領域面積A1stをラベル「Y1」が付された高輝度光点領域FHBの面積とする一方、第2対象領域面積A2ndをラベル「Z」が付された低輝度光点領域FLB全体の面積としてしまうと、領域面積比Raが判定基準比Rabを超えることが想定される。そうすると、路上反射物RSをヘッドランプHLであると誤って検出する等の誤検出を招いてしまう。
【0083】
そこで、本実施例に係る光源判別制御では、図6で説明したマージン枠CMZを高輝度光点領域FHBの周囲に生成し(図7(c)中、符号CMZ1〜CMZ3にて表す)、面積算出部1022は、低輝度光点領域FLBにおけるマージン枠CMZの外側領域(図6中におけるハッチング領域)を除外して第2対象領域面積A2ndを算出する。すなわち、面積算出部1022は、低輝度光点領域FLBとマージン枠の内側領域とが重複する領域(以下、「マージン枠内低輝度光点領域」と称す)の面積を第2対象領域面積A2ndとして算出する。
【0084】
図7(c)においてハッチングされた「FIMZ1」、「FIMZ2」、「FIMZ3」のそれぞれは、光源「Xa」、「Xb」、「Y」に対応するマージン枠内低輝度光点領域を示したものである。面積算出部1022は、対応する高輝度光点領域FHB及びマージン枠内低輝度光点領域の組み合わせ毎に、領域面積比Ra1〜Ra3を算出する。なお、各領域面積比Ra1〜Ra3は、ラベル「Xa1」の高輝度光点領域FHBに対するマージン枠内低輝度光点領域FIMZ1の面積比、ラベル「Xb1」の高輝度光点領域FHBに対するマージン枠内低輝度光点領域FIMZ2の面積比、ラベル「Y1」の高輝度光点領域FHBに対するマージン枠内低輝度光点領域FIMZ3のそれぞれを指す。
【0085】
判別部1023は、各領域面積比Ra1〜Ra3が第2判定基準比Rab2より大きいか否かを判定する。第2判定基準比Rab2は、実施例1に係る判定基準比Rabと同様、高輝度光点領域FHBにある光源が、対向車両のヘッドランプHLであるか否かを判別するための基準となる比の値である。なお、実施例1及び2とでは、領域面積比を算出する基礎となる第1対象領域面積A1st、第2対象領域面積A2ndの対象が相違するため、第2判定基準比Rab2の値を判定基準比Rabと一致させる必要はなく、実験などによりその適正値を求めておくと良い。
【0086】
判別部1023は、領域面積比Ra1〜Ra3毎に上記判定を行う。そして、第2判定基準比Rab2に比べて領域面積比が大きいと判定された場合、対応する高輝度光点領域FHBに対向車両のヘッドランプHLがあると判別する。逆に、領域面積比が第2判定基準比Rab2以下であると判定された場合、対応する高輝度光点領域FHBには路上反射物RSがあると判別する。
【0087】
以上のように、本実施例における光源判別制御においては、高輝度光点領域FHBの周囲にこれを包含するマージン枠CMZを生成し、且つマージン枠内低輝度光点領域の面積を第2対象領域面積A2ndとして算出するので、画像内において複数の光源に対応する低輝度光点領域FLBが重なり合うような場合でも、その影響を受けることなく光源の識別を行うことが可能となり、以って対向車両の検知を精度良く行うことができる。
【0088】
<変形例>
以下に、変形例を説明する。本変形例では、面積算出部1022による第1対象領域面積A1st及び第2対象領域面積A2ndの算出対象を上記制御例と相違させている。第1の変形例として、面積算出部1022は、マージン枠CMZの内側領域の面積を第1対象領域面積A1stとして算出するようにした。高輝度光点領域FHBに関連付けられて導出される第1対象領域面積A1stを、矩形枠たるマージン枠CMZの内側領域の面積として算出することで、画像処理ユニット102Aにおける処理効率、処理速度の向上を
図ることができる。
【0089】
また、第2の変形例として、面積算出部1022は、マージン枠CMZの内側領域から、これに包含される高輝度光点領域FHBを差し引いた(くり抜いた)面積を第1対象領域面積A1stとして算出し、且つ対応するマージン枠内低輝度光点領域から、これに包含される高輝度光点領域FHBを差し引いた面積を第2対象領域面積A2ndとして算出することもできる。この場合、高輝度光点領域FHBに存在する光源がヘッドランプHLである場合と路上反射物RSである場合とにおいて、算出される領域面積比の差がより顕著となるため、光源の判別に関する精度を向上させることができる。
【0090】
<実施例3>
次に、第3の実施例について説明する。本実施例における夜間車両検知装置は、画像処理ユニットの内部構成の一部が実施例1及び2と相違する。図8は、本実施例における画像処理ユニット102Bの内部構成を示した模式図である。画像処理ユニット102Bは、更に対象選定部(選定手段)1025を具備する点で図5に示した画像処理ユニット102Aと相違する。
【0091】
ここで、ヘッドランプLHから光を照射している4輪の対向車両をカメラ101で撮像した場合、カメラ101から画像処理ユニット102Bに送信される車両前方画像には、水平方向に車幅程度の間隔を挟んで並ぶ1対の光源が映し出される。従って、高輝度用閾値SHを用いて車両前方画像を2値化した場合、画像内において、水平方向に車幅程度の間隔を挟んで並ぶ1対(1組)の高輝度光点領域FHBが存在する場合、その一対の高輝度光点領域FHBは対向車両のヘッドランプLHである可能性が高い。以下、このような、対向車両の左右のヘッドランプLHの候補となる一対の高輝度光点領域を、特に「一対のヘッドランプ候補高輝度光点領域FHB2」と称す。
【0092】
一対のヘッドランプ候補高輝度光点領域FHB2の各々に対して、既述した領域面積比Raを個別に算出してヘッドランプLHであるかどうかを判別しても良いが、一対のヘッドランプ候補高輝度光点領域FHB2をひとまとめにして上記判別を行うことができれば、光源判別制御に関する処理速度、処理効率を向上させる観点、すなわち対向車両を速やかに検知する観点から好適である。
【0093】
そこで、対象選定部1025は、高輝度用閾値SHを用いて車両前方画像を2値化した結果、領域抽出部1021によって複数の高輝度光点領域FHBが抽出された場合、該複数の高輝度光点領域FHBから一対のヘッドランプ候補高輝度光点領域FHB2を選定する。そして、マージン枠生成部1024は、対象選定部1025により選定された一対のヘッドランプ候補高輝度光点領域FHB2をまとめて包含するマージン枠CMZUを生成することとした。
【0094】
図9は、本実施例における光源判別制御ルーチンを示したフローチャートである。本制御ルーチンも、ヘッドランプ104がONの状態で車両100が走行している場合、一定時間毎に繰り返し行われるルーチンであり、画像処理ユニット102によって実行される。図4のフローチャートと共通する処理は、同じステップ番号を付すことで説明を省略する。
【0095】
ステップS103の処理が終了するとステップS201に進む。ステップS201において、車両前方画像(高輝度2値化後画像)内に一対のヘッドランプ候補高輝度光点領域FHB2が存在するか否かが判定される。そして、車両前方画像内に一対のヘッドランプ候補高輝度光点領域FHB2が存在すると判定された場合にはステップS202に進み、そうでない場合にはステップS111に進む。
【0096】
ステップS202において、対象選定部1025は、車両前方画像における一対のヘッドランプ候補高輝度光点領域FHB2を選定する。図7(b)を参照すると、この図の例ではラベル「Xa1」、「Xb1」が付された高輝度光点領域FHBが一対のヘッドランプ候補高輝度光点領域FHB2として選定される。
【0097】
ステップS203において、マージン枠生成部1024は、対象選定部1025により選定された一対のヘッドランプ候補高輝度光点領域FHB2をまとめて包含するマージン枠CMZUを生成する。図10は、実施例3におけるマージン枠CMZUの高輝度光点領域FHB及び低輝度光点領域FLBとの関係を説明するための説明図である。図中の符号「Xa1」、「Xb1」、「Y1」、「Z」は、図7において説明したものと同義である。
【0098】
図10に示した例では、一対のヘッドランプ候補高輝度光点領域FHB2(Xa1、Xb1)の外周部と一部で接する矩形枠CHBが生成される。そして、矩形枠CHBを包含し、且つ該矩形枠CHBよりも大きな矩形枠としてマージン枠CMZUが生成されるようになっている。例えば、マージン枠CMZUの周長(枠長)は、矩形枠CHBの周長に比べて一定長だけ長くなるように設定される。
【0099】
ステップS204において、面積算出部1022は、第1対象領域面積A1st及び第2対象領域面積A2ndをそれぞれ算出する。本ルーチンでは、マージン枠CMZUの内側領域の面積を第1対象領域面積A1stとして算出しているが、例えば、一対のヘッドランプ候補高輝度光点領域FHB2(Xa1、Xb1)の総面積を第1対象領域面積A1stとして算出しても構わない。そして、マージン枠CMZUの内側領域に含まれる低輝度光点領域FLB(すなわち、マージン枠CMZUの内側領域と低輝度光点領域FLBとが重複する部分)の面積を、第2対象領域面積A2ndとして算出する。
【0100】
ステップS205において判別部1023は、ステップS204で算出した第1対象領域面積A1st及び第2対象領域面積A2ndに基づいて領域面積比Ra(Ra=A2nd/A1st)を算出する。
【0101】
ステップS206において判別部1023は、領域面積比Raが第3判定基準比Rab3より大きいか否かを判定する。第3判定基準比Rab3は、一対のヘッドランプ候補高輝度光点領域FHB2にある光源が、対向車両のヘッドランプHLであるか否かを判別するための基準となる比の値である。第3判定基準比Rab3の値は、判定基準比Rabや第2判定基準比Rab2と一致する必要はなく、実験などによりその適正値を求めておくことができる。
【0102】
領域面積比Raが第3判定基準比Rab3より大きいと判定された場合、ステップS207に進み、そうでない場合にはステップS208に進む。ステップS207では、判別部1023が、一対のヘッドランプ候補高輝度光点領域FHB2にある光源が、対向車両のヘッドランプHLであると判別する。本ステップの処理が終了すると、既述したステップS109に進む。一方、ステップS208では、判別部1023が、一対のヘッドランプ候補高輝度光点領域FHB2にある光源が、路上反射物RSであると判別する。本ステップの処理が終了すると、既述したステップS111に進む。
【0103】
以上のように、本実施例に係る制御によれば、車両前方画像内における一対のヘッドランプ候補高輝度光点領域FHB2、すなわち対向車両のヘッドランプLHである可能性が高い(確度が高い)一組の高輝度光点領域FHBにターゲットを絞り、これらをまとめて効率的に路上反射物RSとの識別を行うことができる。従って、対向車両を検知するのに
要する時間の短縮、応答性向上などを図ることができる。
【0104】
<実施例4>
次に、第4の実施例について説明する。本実施例における夜間車両検知装置は、画像処理ユニットの内部構成の一部が実施例1〜3と相違する。図11は、本実施例における画像処理ユニット102Cの内部構成を示した模式図である。図示の通り、本実施例の画像処理ユニット102Cは、更にエッジ長さ算出部(エッジ長さ算出手段)1026を備える点で図3の画像処理ユニット102と相違する。
【0105】
エッジ長さ算出部1026は、車両前方画像内における高輝度光点領域FHBに含まれるエッジを抽出し、その長さであるエッジ長さを算出する。そして、光源判別制御においては、高輝度光点領域FHBにおける光源がヘッドランプHLかどうかを、高輝度光点領域FHBの面積と、エッジ長さ算出部1026が算出したエッジ長との比Regに基づいて判別する。
【0106】
エッジとは、画像内に生じる明るい部分と暗い部分の境界のことであり、画像を特徴づける線要素である。エッジ抽出(検出)とは、この輝度値変化の境界、すなわち隣り合う画素の輝度差が大きい箇所を抽出(検出)することをいう。エッジの抽出法(検出法)は既知の手法(例えば、微分フィルタ法、プリューウィットフィルタ(Prewitt filter)法、ソーベルフィルタ(Sobel filter)法などが一例として挙げられる)を採用することができる。
【0107】
図12は、本実施例における光源判別制御ルーチンを示したフローチャートである。本制御ルーチンも、ヘッドランプ104がONの状態で車両100が走行している場合、一定時間毎に繰り返し行われるルーチンであり、画像処理ユニット102によって実行される。図4及び9のフローチャートと共通する処理は、同じステップ番号を付すことで説明を省略する。
【0108】
ステップS102の処理が終了すると、ステップS104に進む。なお、本制御ルーチンでは、領域抽出部1021は、車両前方画像内における低輝度光点領域FLBの抽出を行わない(図4におけるステップS103の処理)。
【0109】
ステップS104においては、車両前方画像内に、対向車両のヘッドランプHLの候補となる光源が存在するか否かが判定される。具体的な判定手法は、例えば図4で説明した通りである。画像内に対向車両のヘッドランプHLの候補となる光源が存在すると判定された場合にはステップS301に進み、そうでない場合にはステップS111に進む。
【0110】
ステップS301では、エッジ長さ算出部1026が、車両前方画像内において抽出された高輝度光点領域FHBに含まれるエッジ(エッジ点)を抽出する。更に、エッジ長さ算出部1026は、エッジの抽出結果に基づき、高輝度光点領域FHB内におけるエッジ長さを算出する。ここでは、高輝度光点領域FHB内におけるエッジに該当する画素の総数を算出し、エッジ長さとしている。エッジ長さは、エッジに該当する画素の総数に限られず、エッジ長さに相関するものであれば他の物理量を基に算出しても良い。
【0111】
図13を参照して、エッジ抽出方法、及びエッジ長さの算出方法について説明する。図13は、対向車両のヘッドランプHL及び路上反射物RSにそれぞれ対応する高輝度光点領域FHBに含まれるエッジの抽出結果の一例を示す図である。左図がヘッドランプHLに対応し、右図が路上反射物RSに対応する。なお、図中の白抜き部分は高輝度光点領域FHBを表し、ハッチング部分は輝度が高輝度用閾値SH以下の部分を表す。
【0112】
図中の破線は、エッジに該当する部分を示している。ヘッドランプHLに関しては、高輝度光点領域FHB(ラベルa1)の外縁(輪郭)、すなわち高輝度用閾値SHより大きな輝度を有する明領域と高輝度用閾値SH以下の輝度を有する暗領域との境界部がエッジとして抽出される。一方、路上反射物RSに関しては、高輝度光点領域FHB(ラベルb1)の外縁(輪郭)の他、路上反射物RS表面に描かれた文字、絵、図などの縁部(輪郭)に相当する部分もエッジとして抽出される(この図の例では、「50」と描かれた数字の輪郭部もエッジとして抽出される)。すなわち、路上反射物RSを光源とする場合には、高輝度光点領域FHBの外縁(輪郭)部分のみならず、高輝度光点領域FHBの内部領域からもエッジが抽出される。その結果、高輝度光点領域FHBの大きさが同等であれば、ヘッドランプHLよりも路上反射物RSに対応する高輝度光点領域FHBの方が、算出されるエッジ長さが長くなる。
【0113】
図12のフローチャートに戻り、ステップS302では、面積算出部1022が高輝度光点領域FHBの面積を第1対象領域面積A1stとして算出する。続くステップS303において、判別部1023は、面積算出部1022により算出された第1対象領域面積A1st(高輝度光点領域FHBの面積)に対する、高輝度光点領域FHB内におけるエッジ長さ(エッジに該当する画素の数)の比(以下、「高輝度光点領域内エッジ比」と称す)Regを算出する。
【0114】
なお、画像内に複数の高輝度光点領域FHBが存在する場合には、高輝度光点領域内エッジ比Regは、高輝度光点領域FHB毎に算出される。本ステップにおいて算出された高輝度光点領域内エッジ比Regが高いほど、高輝度光点領域FHBにおける光源が路上反射物RSである確度(可能性)が高いと判断できる。
【0115】
ステップS304において、判別部1023は、高輝度光点領域内エッジ比Regが基準エッジ比Regb以下であるか否かを判定する。基準エッジ比Regbは、高輝度光点領域FHBにある光源が対向車両のヘッドランプHLと路上反射物RSの何れであるのかを判別するための基準となる高輝度光点領域内エッジ比の閾値である。
【0116】
本ステップにおいて、高輝度光点領域内エッジ比Regが基準エッジ比Regb以下であると判定された場合(車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、何れかの高輝度光点領域内エッジ比Regが基準エッジ比Regb以下と判定された場合)、ステップS108に進む。一方、高輝度光点領域内エッジ比Regが基準エッジ比Regbよりも大きいと判定された場合(車両前方画像内に複数の高輝度光点領域FHBが存在する条件下では、全ての高輝度光点領域内エッジ比Regが基準エッジ比Regbよりも大きいと判定された場合)、ステップS110に進む。以降の処理内容は図4のフローチャートと同様であり、その説明を省略する。
【0117】
以上のように、本実施例に係る光源判別制御によれば、高輝度光点領域FHBにある光源が対向車両のヘッドランプHLである場合に、光源が路上反射物RSである場合よりも高輝度光点領域内エッジ比Regが小さくなることを利用して、車両100の前方に対向車両が存在するか否かを好適に検知することができる。
【0118】
以上述べた実施例は、可能な限り組み合わせることができる。例えば、実施例1及び4を組み合わせて光源判別制御を実施することができる。すなわち、判別部1023は、第1対象領域面積A1stに対する第2対象領域面積A2ndの比(領域面積比Ra)、及び第1対象領域面積A1stに対するエッジ長さの比(高輝度光点領域内エッジ比Reg)に基づいて、高輝度光点領域FHBにある光源が対向車両のヘッドランプHLと路上反射物RSの何れであるかを判別しても良い。
【0119】
図4及び図12のフローチャートを参照して説明すると、図4のステップS107において、領域面積比Raが判定基準比Rabよりも大きいと判定された場合、直ちにステップS108に進まず(高輝度光点領域FHBにヘッドランプHLがあると判別せず)、高輝度光点領域内エッジ比Regと基準エッジ比Regbとを対比する。具体的には、図12におけるステップS301〜S304の処理を行う。そして、高輝度光点領域内エッジ比Regが基準エッジ比Regb以下であると判定された場合に、高輝度光点領域FHBにヘッドランプHLがあると判別し、上記ステップS108に進むようする。これによれば、対向車両の検知精度が上記実施例に比べて更に高まり、夜間車両検知装置の信頼性が向上し、製品価値を高めることができる。
【符号の説明】
【0120】
1・・・・夜間車両検知装置
100・・自車両
101・・カメラ
102・・画像処理ユニット
103・・配光制御ユニット
104・・ヘッドランプ
1021・領域抽出部
1022・面積算出部
1023・判別部
1024・マージン枠生成部
1025・対象選定部
1026・エッジ長さ算出部

【特許請求の範囲】
【請求項1】
自車両に搭載されて且つ該自車両の前方を撮像する撮像手段と、
前記撮像手段によって撮像された画像内において、所定の第1閾値よりも大きな輝度を有する高輝度領域、及び該第1閾値より低く設定された第2閾値よりも大きな輝度を有する低輝度領域を抽出する領域抽出手段と、
前記領域抽出手段の抽出結果に基づき、前記高輝度領域に関連付けられた第1面積、及び該高輝度領域に近接する低輝度領域に関連付けられた第2面積を算出する面積算出手段と、
前記面積算出手段により算出された前記第1面積と第2面積との比に基づいて、該高輝度領域に対向車両の光源があるか否かを判別する判別手段と、
を備えることを特徴とする夜間車両検知装置。
【請求項2】
前記画像内において、前記領域抽出手段により抽出された前記高輝度領域の周囲にマージン領域が形成されるように該高輝度領域を包含するマージン枠を生成するマージン枠生成手段を、更に備え、
前記面積算出手段は、少なくとも前記低輝度領域における前記マージン枠の外側に属する領域を除外して前記第2面積を算出することを特徴とする請求項1に記載の夜間車両検知装置。
【請求項3】
前記領域抽出手段により複数の高輝度領域が抽出された場合に、該複数の高輝度領域から他車両の光源の候補となる一対の高輝度領域を選定する選定手段を、更に備え、
前記マージン枠生成手段は、前記選定手段により選定された一対の高輝度領域をまとめて包含するマージン枠を生成することを特徴とする請求項2に記載の夜間車両検知装置。
【請求項4】
前記画像内における前記高輝度領域に含まれるエッジ長さを算出するエッジ長さ算出手段を、更に備え、
前記判別手段は、前記第1面積と第2面積との比、及び該第1面積と前記エッジ長さ算出手段により算出されたエッジ長さとの比、の双方に基づいて、該高輝度領域に対向車両の光源があるか否かを判別することを特徴とする請求項1〜3の何れか1項に記載の夜間車両検知装置。
【請求項5】
自車両に搭載されて且つ車外を撮像する撮像手段と、
前記撮像手段によって撮像された画像内において、所定の第1閾値よりも大きな輝度を有する高輝度領域を抽出する領域抽出手段と、
前記画像内における前記高輝度領域に含まれるエッジ長さを算出するエッジ長さ算出手段と、
前記高輝度領域の面積と前記エッジ長さ算出手段により算出されたエッジ長さとの比に基づいて、該高輝度領域に対向車両の光源があるか否かを判別する判別手段と、
を備えることを特徴とする夜間車両検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−103070(P2011−103070A)
【公開日】平成23年5月26日(2011.5.26)
【国際特許分類】
【出願番号】特願2009−257905(P2009−257905)
【出願日】平成21年11月11日(2009.11.11)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】