説明

車両領域検出装置及び車両領域検定方法

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は車両に搭載されたCCDカメラからの画像を用いて車両領域を検出する車両領域検出装置及び車両領域検定方法に関する。
【0002】
【従来の技術】従来より、自動車などの車両に搭載されたCCDカメラなどの画像撮像装置により撮影された画像の車両が存在する領域を検出する方法が種々提案されている。
【0003】車両領域を特定する処理として、(1)自車両前方画像の微分画像(エッジ画像)などに対して二値化、ラベリング、特徴抽出、パターンマッチング(テンプレートマッチング)などの処理を行う。
(2)前方画像全体の特定の一部を路面と仮定して、その部分の濃淡度に対し路面が車両と接する部分の画像の濃淡度を比較する。などの方法が知られている。
【0004】
【発明が解決しようとする課題】しかしながら、上述した(1)のテンプレートマッチングは、対象物の形状に多種多様なものがある、天候や昼夜の差によって検出画像にばらつきがある、などの問題により、一般性を持ったテンプレートを作成することは難しく、既存のテンプレートでのマッチングでは、正確に車両領域を特定することが難しい。また、(2)の路面の濃淡値と比較する方法は、路面に投影されるいろいろな影などにより路面全体が均一ではなく、路面全体の濃淡値を正確に求めることは難しい、画面の特定の一部を路面と仮定し、そこでの平均濃淡値を代わりに用いても、対象となる車両候補領域近辺の路面濃淡値と異なっていることが予想され、正確に車両領域として特定することが難しい、などの問題がある。
【0005】本発明は上記問題点に鑑みてなされたものであり、簡易な方法により正確に車両領域を特定することができる車両領域検出装置及び車両領域検定方法を提供することを目的とする。
【0006】
【課題を解決するための手段】係る目的を達成するために請求項1記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定手段と、を有することを特徴とする。
【0007】請求項2記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対象度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定手段と、を有することを特徴とする。
【0008】請求項3記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定手段と、を有することを特徴とする。
【0009】請求項4記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えている車両候補領域を検出する領域判定手段と、領域判定手段により、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価手段と、を有することを特徴とする。
【0010】請求項5記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を検出する領域判定手段と、領域判定手段により、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価手段と、を有することを特徴とする。
【0011】請求項6記載の発明は、車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えている車両候補領域を検出する領域判定手段と、領域判定手段により、左右対称度評価手段、分散度評価手段、及び濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価手段と、を有することを特徴とする。
【0012】請求項7記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定工程と、を有することを特徴とする。
【0013】請求項8記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定工程と、を有することを特徴とする。
【0014】請求項9記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えている車両候補領域を車両領域と判定する領域判定工程と、を有することを特徴とする。
【0015】請求項10記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えている車両候補領域を検出する領域判定工程と、領域判定工程により、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価工程と、を有することを特徴とする。
【0016】請求項11記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を検出する領域判定工程と、領域判定工程により、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価工程と、を有することを特徴とする。
【0017】請求項12記載の発明は、画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えている車両候補領域を検出する領域判定工程と、領域判定工程により、左右対称度評価工程、分散度評価工程、及び濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を車両領域として検出する領域評価工程と、を有することを特徴とする。
【0018】
【発明の実施の形態】次に添付図面を参照して本発明の車両領域検出装置及び車両領域検定方法の実施の形態を詳細に説明する。図1〜図8を参照すると本発明の車両領域検出装置及び車両領域検定方法の実施形態が示されている。
【0019】図1に示された第1の実施形態は、車両に搭載されたCCDカメラなどの画像入力装置1と、画像入力装置より入力された画像にエッジ検出などの前処理を施し、車両候補領域を検出する前処理部2と、前処理部2により検出された車両候補領域の画像の左右対称度を評価する左右対称度評価部3と、前処理部2により検出された車両候補領域の画像の分散度を評価する分散度評価部4と、前処理部2により検出された車両候補領域の画像の所定の箇所の濃淡平均値を評価する下部濃淡平均値評価部5と、左右対称度評価部3と分散度評価部4と下部濃淡値評価部5との評価結果を用いて、前処理部にて車両候補領域として検出された画像が車両領域であるか否かを判定する領域判定部6とを有して構成される。
【0020】本発明は、車両に搭載された画像入力装置により撮影された画像の車両の存在する車両領域を正確に検出するものである。通常、画像処理の前処理の微分画像(エッジ検出画像)などから検出された車両候補領域に対し、最終的にその領域に車両が存在しているかどうか、存在の可能性が高いものを検証し、抽出する必要がある。また、遠景やその他のノイズにより誤って検出された車両候補領域を排除する必要がある。なお、車両領域とは、CCDカメラで撮影された前方画像内の車両を検出できた矩形領域をいい、車両候補領域とは、車両領域を特定する前の一次評価を合格した候補領域をいう。
【0021】本発明は、車両候補領域から車両領域を正確に検出するために、以下に示す車両領域画像特有の性質に着目している。
【0022】図2に示されるように、車両に搭載された画像入力装置より前方に居る車両を撮影すると、ブレーキランプなどのような左右の対称性のある部材が必ず撮影される。また、ナンバープレートのような模様またはテクスチャが撮影される。さらに、車体の影になる暗い領域が撮影される。
【0023】本発明は、これらの車両領域画像に特有の性質に着目し、車両候補領域の画像の濃淡度の左右対称度の高さ、車両候補領域の画像の濃淡度の分散度の大きさ、車両候補領域の下部領域の画像の濃淡度と、車両候補領域下部に近接する領域の画像の濃淡度との差、を車両領域検出の判断基準としている。
【0024】より具体的には、車両候補領域の画像の濃淡値の左右対称度を左右対称度評価部2にて評価し、車両候補領域の画像の濃淡値の分散度の大きさを分散度評価部にて評価し、車両候補領域内の下部領域の画像の濃淡平均値と、車両候補領域の下部に近接する領域の画像の濃淡平均値との差分を下部濃淡平均値評価部5にて評価し、領域判定部6が、これらの評価結果をそれぞれの閾値と比較して、認識対象の車両候補領域が車両領域であるか否かを判断している。
【0025】次に上述した3つの評価部の評価方法について説明する。
【0026】まず、図3を用いて左右対称度評価部3の左右対称度の評価方法を説明する。左右対称度評価部3は、前処理部2により車両候補領域に設定された領域画像の左右対称度を以下に示す評価式に従って評価する。
(左右対称度)=(Σ|P(-x+x0+XL/2,y+y0)-P(x+x0+XL/2,y+y0)|)/(XL/2×YL)なお,P(x,y)は車両候補領域画素の濃淡値であり、0 ≦x ≦XL/2,0≦y ≦YLとする。また、x0,y0 は全画像の左上を座標原点とした時の識別対象の車両候補領域の左上の座標である。
【0027】上述した評価式は、図3に示されるように評価する車両候補領域のX軸方向の中心線を境にした左右対称画素に対し、濃淡値の差分の絶対値を取る。この処理を車両候補領域の全画素に対して行い、さらにその平均値を検出してその車両候補領域の左右対称度とする。なお、この評価式では、評価した左右対称度の値が0に近い(小さい)ほど左右対称度が強いということになる。
【0028】また、上述した評価式を用いる方法以外に、以下に示す左右の画素濃淡値の相関係数を求める評価方法であってもよい。
(左右対称度)={Σ(P(-x+x0+XL/2,y+y0)-PLav)×(P(x+x0+XL/2,y+y0)-PRav )}/{(XL×YL) ×(PSL×PSR)}
なお、P(x,y)は車両候補領域画素の濃淡値、PLavは車両候補領域左半分の濃度平均値、PRavは車両候補領域右半分の濃度平均値、PSL は車両候補領域左半分の濃淡偏差値、PSR は車両候補領域右半分の濃淡値偏差値であり、0 ≦x ≦XL/2,0≦y ≦YLとする。また、この評価式では、評価した左右対称度の値が大きいほど左右対称度が強いということになる。
【0029】次に分散度評価部4による分散度の評価方法について説明する。分散度評価部4は、前処理部2により車両候補領域に設定された領域画像の画像濃淡値の分散度を、評価する車両候補領域内の濃淡平均値に対する分散を求めることにより評価する。分散を求める評価式としては、以下に示すものを用いる。
(分散)=Σ(|P(x,y) −Pav |/(XL ×YL) )
または、(分散)=Σ((P(x,y) −Pav )2 /(XL×YL) )
なお、P(x,y) は、車両候補領域画素の濃淡値であり、Pav は、車両候補領域全体の濃淡平均値である。また、0 ≦x ≦XL,0≦y ≦YLである。また、この評価式は算出した分散の値が大きいほど、分散度が大きいということになる。
【0030】次に下部濃淡平均値評価部5による車両候補領域の下部領域の画像の濃淡値と、車両候補領域下部に近接する領域の画像の濃淡値との比較方法について説明する。下部濃淡平均値評価部5は、車両候補領域の下部領域と、この車両候補領域下部に近接する特定領域の画像の濃淡平均値を算出し、これらの差分を検出する。この車両候補領域の下部領域は、図4に示されるように、車体のタイヤ部分に相当する車両候補領域の下部の左右両端部と、そのタイヤ部分に挟まれた車体の影に相当する車両候補領域の下部の中央部分を用いている。なお、図4に示されるように、このタイヤ部分に相当する領域は、車両候補領域の下端からY軸方向に約YL/4の高さの領域を用いており、車体の影に相当する領域は、車両候補領域の下端からY軸方向に約YL/8の高さの領域を用いている。また、車両候補領域の下端に近接する特定部分は、図4に示されるように、車両候補領域下部の中央部分に近接するY軸方向約YL/4、X軸方向約XL/2の領域を用いている。
【0031】また、車両候補領域の下部領域、及び車両候補領域下部に近接する領域は、上述した領域に限定されるものではない。例えば、車両候補領域の下部領域は、図5aに示されるように、車両候補領域の下端からY軸方向に約YL/4の高さで、車両候補領域のX軸方向の幅と略同一の幅を有する領域や、図5bに示されるように、タイヤの影領域に相当するX軸方向に約XL/4の幅を有する車両候補領域の下部の左右両端部の領域の濃淡平均値を使用してもよい。また、車両候補領域下部に近接する領域は、図5cに示されるように、車両候補領域のX軸方向の幅と略同一の幅を有するY軸方向の長さ約YL/4の領域や、図5dに示されるように、車両候補領域のタイヤに相当する領域の下端に近接する領域や、図5eに示されるように、図5dに示された領域に、さらにタイヤと同じ高さの車両候補領域下部の両端に近接する領域を追加した領域の濃淡平均値としてもよい。
【0032】また、上述した下部濃淡平均値評価部5は、車両候補領域の下部領域と、車両候補領域下部に近接する領域の画像の濃淡平均値をそれぞれ求めて、比較しているが、濃淡平均値を求めてから、それぞれの領域の濃淡値の最大値もしくは最小値、または中間値を検出し、これらを比較してもよい。
【0033】次に図6に示されたフローチャートを参照しながら、上記第1の実施形態による一連の処理について説明する。ステップS1にて、車両の前方の画像を画像入力装置1により撮影すると、前処理部2にて撮影された画像に画像処理を施して微分画像(エッジ検出画像)を検出し、水平、垂直エッジが多く存在する領域を検出する。前処理部2はこの領域を車両候補領域として、左右対称度評価部3、分散度評価部4、及び下部濃淡平均値評価部5に出力する。
【0034】ステップS2にて、左右対称度評価部3は前処理部2から送られた車両候補領域の画像の左右対称度を評価する。左右対称度評価部3は、評価する車両候補領域の垂直方法の中心線を境に左右対称位置の画素に対し、濃淡値の差分の絶対値を取る。この操作を車両候補領域の全画素に対して行い、その平均値をその車両候補領域の左右対称度とする。算出された左右対称度は、領域判定部6に出力される。
【0035】ステップS3にて、分散度評価部4は前処理部2から送られた車両候補領域の画像濃淡値の分散度を評価する。分散度評価部4は、前処理部から送られた車両候補領域の画像の濃淡平均値に対する分散を求めて、分散度とする。算出された分散度は、領域判定部6に出力される。
【0036】ステップS4にて、下部濃淡平均値評価部5は、前処理部から送られた車両候補領域の下部領域の平均濃淡値と、その車両候補領域下部に近接する所定領域内の平均濃淡値との差分を検出して濃淡値の比較を行う。算出された差分値は、領域判定部6に出力される。
【0037】ステップS5にて、領域判定部6は、左右対称度評価部3より送られた左右対称度、分散度評価部4より送られた分散度、下部濃淡平均値評価部5より送られた差分値をそれぞれ所定の閾値と比較し、左右対称度が所定の閾値よりも小さく、分散度が所定の閾値よりも大きく、差分値が0よりも大きい場合に(ステップS5/YES)、前処理部にて検出された車両候補領域は車両領域であると判断する(ステップS6)。また、領域判定部6は、左右対称度評価部3、分散度評価部4、下部濃淡平均値評価部5により評価された左右対称度、分散度、差分値のいずれか一つが所定の条件を満たさなかった場合、前処理部にて検出された車両候補領域は車両領域ではないと判断する。
【0038】上述の実施形態は、画像入力装置より入力した画像の車両の存在する確率の高い車両候補領域から車両領域を、左右対称度評価部にて評価された車両候補領域の画像の濃淡値の左右対称度と、分散度評価部にて評価された車両候補領域の画像の濃淡値の分散度と、下部濃淡平均値評価部にて評価された車両候補領域の下部領域の画像の濃淡値と、車両候補領域下部に近接する領域の画像の濃淡値との差分とを用いて検出することにより、車両領域を確実に検出することができる。
【0039】また、従来の車両領域検出に用いられるテンプレートに依存していないので、対象物の形状に依存することがない。また、天候や昼夜の差などによって検出画像にばらつきがでても比較的正確に車両領域を検出することができる。
【0040】また、車両候補領域下部に近接する領域の画像の濃淡値を用いて、車両候補領域の下部領域の画像の濃淡値と比較するため、基準となる濃淡度に差異が少なくなり、正確に車両領域を特定することができる。
【0041】また、上述した左右対称度評価部による左右対称度の評価、分散度評価部による分散度の評価、下部濃淡平均値評価部による車両候補領域の下部領域の画像の濃淡値と、車両候補領域下部に近接する領域の画像の濃淡値との評価は、いずれも計算量が少なく、比較的軽い処理であり、車両領域の検出時間を短縮させることができる。
【0042】次に図7を用いて本発明の第2の実施形態の構成を説明する。図7に示された第2の実施形態は、上述した第1の実施形態の構成に加えて、さらに領域評価部7を具備している。また、第2の実施形態の領域判定部6は、左右対称度評価部3、分散度評価部4、下部濃淡平均値評価部5より送られた左右対称度、分散度、差分値をそれぞれの閾値と比較し、全てが所定の条件を満たしている時に、評価した認識対象の車両候補領域の位置情報を領域評価部7に送る。領域評価部7は、領域判定部6より送られた認識対象の車両候補領域と略同一の位置の領域に定められた領域カウンタの値を1つ増加させる。そして、第2の実施形態は、領域評価部7が画像入力部1及び前処理部2より新たな車両候補領域情報が送られてくると、その認識対象の車両候補領域と略同一の位置の領域の領域カウンタの値が所定の閾値を越えているか否かを識別し、その領域カウンタの値が所定の閾値を越えている場合に、その車両候補領域を車両領域として検出する。
【0043】上述したように第2の実施形態は、左右対称度評価部、分散度評価部、下部濃淡平均値評価部の評価結果を所定の回数満たす車両候補領域を車両領域として判断しているので、車両領域をより高い確率で検出することができる。
【0044】次に、図8に示されたフローチャートを参照して、第2の実施形態による一連の処理動作を説明する。ステップS10にて、まず、領域評価部に設けられた領域カウンタのうち、所定の時間を経過してもカウントアップが行われなかった領域カウンタをゼロクリアする。
【0045】ステップS11にて、車両の前方の画像を画像入力装置1により撮影すると、前処理部2にて撮影された画像に画像処理を施して微分画像(エッジ検出画像)を検出し、水平、垂直エッジが多く存在する領域を検出する。前処理部2は、この領域を車両候補領域として領域評価部7に出力する。
【0046】領域評価部7には、領域ごとに領域カウンタが設けられており、領域判定部6により車両領域として認識された領域と略同一の位置の領域の領域カウンタをカウントアップする。また、前処理部2により車両候補領域の情報が送られてくると、その車両候補領域と略同一の位置の領域の領域カウンタの値が所定の閾値を越えているか否かを検出する。車両候補領域と略同一の位置の領域の領域カウンタの値が所定の閾値を越えていた場合(ステップS12/YES)、その車両候補領域を車両領域と認識し、領域判定結果を出力する。また、車両候補領域と略同一の位置の領域の領域カウンタの値が所定の閾値を越えていなかった場合(ステップS12/NO)、車両候補領域に関する情報を左右対称度評価部3、分散度評価部4、下部濃淡平均値評価部5に送る。
【0047】ステップS13にて、左右対称度評価部3は領域評価部7から送られた車両候補領域の画像の左右対称度を評価する。左右対称度評価部3は、評価する車両候補領域の垂直方法の中心線を境に左右対称位置の画素に対し、濃淡値の差分の絶対値を取る。この操作を車両候補領域の全画素に対して行い、その平均値をその車両候補領域の左右対称度とする。算出された左右対称度は、領域判定部6に出力される。
【0048】ステップS14にて、分散度評価部4は領域評価部7から送られた車両候補領域の画像濃淡値の分散度を評価する。分散度評価部4は、前処理部から送られた車両候補領域の画像の濃淡平均値に対する分散を求めて、分散度とする。算出された分散度は、領域判定部6に出力される。
【0049】ステップS15にて、下部濃淡平均値評価部5は領域評価部7から送られた車両候補領域の下部領域の平均濃淡値と、その車両候補領域下端に近接する所定領域内の平均濃淡値との差分を検出して濃淡値の比較を行う。算出された差分値は、領域判定部6に出力される。
【0050】ステップS16にて、領域判定部6は、左右対称度評価部3より送られた車両候補領域の左右対称度、分散度評価部4より送られた車両候補領域の分散度、下部濃淡平均値評価部5より送られた車両候補領域域の差分値をそれぞれ所定の閾値と比較し、左右対称度が所定の閾値よりも小さく、分散度が所定の閾値よりも大きく、差分値が0よりも大きい場合(ステップS16/YES)に、その車両候補領域の領域情報を領域評価部に送り、領域評価部7の領域カウンタをカウントアップする。また、領域判定部6は、左右対称度評価部3、分散度評価部4、下部濃淡平均値評価部5により評価された左右対称度、分散度、差分値のいずれかが所定の条件を満たさなかった場合(ステップS16/NO)、その車両候補領域は車両領域ではないと判断する。
【0051】なお、上述の実施形態は、本発明の好適な実施の一例である。但し、これに限定されてるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上述した実施形態は、車両候補領域の画像の濃淡度の左右対称度の高さ、車両候補領域の画像の濃淡度の分散度の大きさ、車両候補領域の下部領域の画像の濃淡度と、車両候補領域下部に近接する領域の画像の濃淡度との差の大きさ、の全ての条件が揃った車両候補領域を車両領域として検出しているが、3つの条件のうちのいずれか2つ、またはいずれか1つが条件を満たす車両候補領域を車両領域として検出してもよい。
【0052】
【発明の効果】以上の説明より明らかなように本発明は、撮影された画像の車両の存在する確率の高い車両候補領域から車両領域を、車両候補領域の画像の濃淡度の左右対称度と、車両候補領域の画像の濃淡度の分散度と、車両候補領域の下部領域の画像の濃淡度と、車両候補領域下部に近接する領域の画像の濃淡度との差分とを用いて検出することにより、車両領域を確実に検出することができる。また、車両領域を、車両候補領域の濃淡度の評価だけで検出しているため、従来の方法と比較して、計算量を軽減させることができ、車両領域の検出時間を短縮させることができる。
【0053】また、本発明は、撮影された画像の車両の存在する確率の高い車両候補領域から車両領域を、車両領域と略同一の位置の領域が過去に、領域の画像の濃淡度の左右対称度の高さ、領域の画像の濃淡度の分散度の大きさ、領域の下部領域の画像の濃淡度と、領域下部に近接する領域の画像の濃淡度との差の大きさ、のいずれかの条件を所定の回数満たした領域として検出することにより、車両領域を確実に検出することができる。また、車両領域を、車両候補領域の濃淡度の評価だけで検出しているため、従来の方法と比較して、計算量を軽減させることができ、車両領域の検出時間を短縮させることができる。
【0054】また、本発明は、従来の車両領域検出に用いられるテンプレートに依存していないので、対象物の形状に依存することがない。また、天候や昼夜の差などによって検出画像にばらつきがでても比較的正確に車両領域を検出することができる。
【0055】また、車両候補領域下部に近接する領域の画像の濃淡値を用いて、車両候補領域の下部領域の画像の濃淡値と比較するため、基準となる濃淡度に差異が少なくなり、正確に車両領域を特定することができる。
【図面の簡単な説明】
【図1】本発明の車両領域検出装置及び車両領域検定方法の第1の実施形態の構成を表すブロック図である。
【図2】車両領域画像の特徴を説明するための図である。
【図3】左右対称度評価部の評価方法を説明するための図である。
【図4】下部濃淡平均値評価部の評価方法を説明するための図である。
【図5】下部濃淡平均値評価部の評価方法を説明するための図である。
【図6】第1の実施形態の処理動作を表すフローチャートである。
【図7】本発明の車両領域検出装置及び車両領域検定方法の第2の実施形態の構成を表すブロック図である。
【図8】第2の実施形態の処理動作を表すフローチャートである。
【符号の説明】
1 画像入力装置
2 前処理部
3 左右対称度評価部
4 分散度評価部
5 下部濃淡平均値評価部
6 領域判定部
7 領域評価部

【特許請求の範囲】
【請求項1】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定手段と、を有することを特徴とする車両領域検出装置。
【請求項2】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対象度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定手段と、を有することを特徴とする車両領域検出装置。
【請求項3】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定手段と、を有することを特徴とする車両領域検出装置。
【請求項4】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えている車両候補領域を検出する領域判定手段と、前記領域判定手段により、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれかが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価手段と、を有することを特徴とする車両領域検出装置。
【請求項5】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を検出する領域判定手段と、前記領域判定手段により、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のいずれか2つが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価手段と、を有することを特徴とする車両領域検出装置。
【請求項6】 車両に搭載された画像撮像手段により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検出装置であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価手段と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価手段と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価手段と、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えている車両候補領域を検出する領域判定手段と、前記領域判定手段により、前記左右対称度評価手段、前記分散度評価手段、及び前記濃淡平均値評価手段の評価結果のすべてが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価手段と、を有することを特徴とする車両領域検出装置。
【請求項7】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定工程と、を有することを特徴とする車両領域検定方法。
【請求項8】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定工程と、を有することを特徴とする車両領域検定方法。
【請求項9】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えている車両候補領域を前記車両領域と判定する領域判定工程と、を有することを特徴とする車両領域検定方法。
【請求項10】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えている車両候補領域を検出する領域判定工程と、前記領域判定工程により、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれかが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価工程と、を有することを特徴とする車両領域検定方法。
【請求項11】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えている車両候補領域を検出する領域判定工程と、前記領域判定工程により、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のいずれか2つが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価工程と、を有することを特徴とする車両領域検定方法。
【請求項12】 画像撮像工程により撮像された画像の車両の存在する確率の高い車両候補領域から車両領域を検出する車両領域検定方法であって、前記車両候補領域内における画像の濃淡度の左右対称度を評価する左右対称度評価工程と、前記車両候補領域全体の濃度平均値に対する画像の濃淡度の分散度を評価する分散度評価工程と、前記車両候補領域の下部領域の画像の濃淡度と、該車両候補領域下部に近接する領域の画像の濃淡度との差分を評価する濃淡平均値評価工程と、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えている車両候補領域を検出する領域判定工程と、前記領域判定工程により、前記左右対称度評価工程、前記分散度評価工程、及び前記濃淡平均値評価工程の評価結果のすべてが所定の閾値を越えたことを過去に所定の回数検出した車両候補領域と略同一の位置の車両候補領域を前記車両領域として検出する領域評価工程と、を有することを特徴とする車両領域検定方法。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図7】
image rotate


【図8】
image rotate


【特許番号】特許第3307335号(P3307335)
【登録日】平成14年5月17日(2002.5.17)
【発行日】平成14年7月24日(2002.7.24)
【国際特許分類】
【出願番号】特願平10−206693
【出願日】平成10年7月22日(1998.7.22)
【公開番号】特開2000−39306(P2000−39306A)
【公開日】平成12年2月8日(2000.2.8)
【審査請求日】平成10年7月22日(1998.7.22)
【出願人】(000004237)日本電気株式会社 (19,353)
【参考文献】
【文献】特開 平6−89339(JP,A)
【文献】特開 平6−331335(JP,A)
【文献】特開 平10−171966(JP,A)
【文献】特開 平7−41118(JP,A)
【文献】特開 平5−136279(JP,A)
【文献】特開 平8−188104(JP,A)