前方車両検知方法及び前方車両検知装置
【課題】本発明は、前方車両検知方法及び前方車両検知装置を提供する。
【解決手段】該前方車両検知方法は、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、自車両の前方の移動ライト領域を検知するステップと、検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、前方車両候補が所定の車ライト特徴を満たした場合は、前方車両候補を前方車両と決定するステップとを含む。
【解決手段】該前方車両検知方法は、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、自車両の前方の移動ライト領域を検知するステップと、検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、前方車両候補が所定の車ライト特徴を満たした場合は、前方車両候補を前方車両と決定するステップとを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両検知方法および車両検知装置に関し、より具体的には、前方車両検知方法および前方車両検知装置に関する。
【背景技術】
【0002】
夜間運転は、昼に比べて視野が悪くなることから、道路交通事故の主な要因の一つとなっている。夜間運転時、車両のハイビーム(例えば、上向き光線)は、運転手により良好な視野を与えることができる一方、向こう側の運転手に一定の危険をもたらす恐れもある。運転手にとっては、手動によるハイ/ロービームの頻繁な調整は、運転の利便性がよくない。
【0003】
特許文献1(米国特許US7,512,252B2)には、一つの車載ビデオカメラを用いて、長時間露光と短時間露光をそれぞれ行い、2つの画像を取得し、該異なる露光による2つの画像から、画像特徴に応じたテールライト、ヘッドライトや、他のライト(例えば、信号灯や、街路灯等)の識別を行う車両検知システムが提案されている。
【0004】
該特許文献1においては、日本における車両の左側通行をもとに、ヘッドライトを画像の右半分に、テールライトを画像の左半分に仮設しているが、実際の道路状況を考えると、道路は常に直線ではなく、通常、複数の車道があることから、該仮設が必ずしも正確とはいえない。なお、該特許においては、消失ポイントと検知されたライトの位置関係を比較して、該ライトが車両からのものかを判定しているが、非平坦道路(例えば、坂道)の場合は、該仮設が必ずしも正確とはいえない。また、該特許においては、露光の強さ制御により、テールライトが長時間画像のみに出現するようにしているが、ライトの強さは、ヘッドライトや、テールライトのみに関係しているとはいえず、たとえば、近距離の車両のテールライトが遠距離の車両のヘッドライトよりもライトの強さが大きく、より明るい等、ライトは、自車両の距離にも関係していることから、該仮設は、必ずしも正確とはいえない。
【0005】
また、特許文献2(米国特許US7,429,825B2)には、自車両の後方車両情報を取得する後方車両情報捕獲モジュールと、後方車両の情報により、自車両に対する追い越しを予測する追越行為予測モジュールと、予測した追越行為から、所定のモード切替条件を満たすか否かを判断するモード切替条件判定モジュールと、所定のモード切替条件を満たすと、ハイビームとロービーム間の自動切換えを行う自動モード設定モジュールを備えた車ライト制御システムが提案されている。
【0006】
しかしながら、該特許文献2における車ライト制御システムでは、夜間道路の白線(車道)検知による、自車両と同一の車道内の後方車両の検知しか行われておらず、自車両の前方車両の検知は行われていない。
【0007】
このため、夜間の自車両の前方車両の検知が可能な方法及び装置が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述の問題に鑑みてなされたものであり、自車両の前方の一対の移動ライトの検知により、前記移動ライトが所定の車ライト特徴を満たすものか否かを判断することで、自車両の前方車両を検知する自車両の前方車両の検知方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知するステップと、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定するステップとを含む、前方車両検知方法を提供する。
【0010】
また、前記前方車両検知方法において、前記前方の移動ライト領域を検知するステップは、前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するステップと、前記抽出されたライト領域と前記自車両との間の距離を計算するステップと、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うステップと、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定するステップとを含むことが好ましい。
【0011】
また、前記前方車両検知方法において、前記一対のライト領域を抽出する前に、前記少なくとも一つの画像中の第1の画像から、車両層を検知するステップと、前記車両層の上方の移動ライト領域を除去するステップとをさらに含むことが好ましい。
【0012】
また、前記前方車両検知方法において、前記一対のライト領域を抽出して前方車両候補を生成するステップは、前記少なくとも一つの画像中の第1の画像において、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成するステップと、前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得するステップとを含むことが好ましい。
【0013】
また、前記一対のライト領域を構成した後に、各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算するステップと、最も多いライトを横切った直線を検知するステップと、前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するステップとをさらに含むことが好ましい。
【0014】
また、前記前方車両検知方法において、前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行うステップをさらに含むことが好ましい。
【0015】
本発明の他の態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置を提供する。
【0016】
また、前記前方車両検知装置において、前記移動ライト検知部は、前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するライト領域抽出部と、前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うライト領域マッチング部と、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含むことが好ましい。
【0017】
また、前記前方車両検知装置において、前記車両候補生成部は、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含むことが好ましい。
【0018】
また、前記前方車両検知装置において、前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含むことが好ましい。
【発明の効果】
【0019】
本発明の前方車両検知方法及び装置によると、移動ライトを検知し、かつ検知された移動ライトが車ライトの特徴を満たすか否かを検証することにより、自車両の前方車両を正確に検知することが可能になる。
【図面の簡単な説明】
【0020】
本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性が容易に理解できるように、以下、図面を参照して、本発明の実施例について詳細に説明する。
【図1】本発明の実施例における前方車両検知方法のフローチャートである。
【図2】本発明の実施例における移動ライト領域の検知フローチャートである。
【図3】本発明の実施例における前方車両候補の生成フローチャートである。
【図4】本発明の実施例における車両層の抽出フローチャートである。
【図5】本発明の実施例における車両層の抽出図である。
【図6】本発明の実施例における反射プレートの検知フローチャートである。
【図7】本発明の実施例における反射プレートの除去を示した図である。
【図8】本発明の実施例における直線のライト領域通過有無を判断する例を示した図である。
【図9】本発明の実施例における前方車両検知方法の適用例を示した図である。
【図10】本発明の実施例における前方車両検知装置のブロック図である。
【図11】本発明の実施例における移動ライト検知部のブロック図である。
【図12】本発明の実施例における車両候補生成部のブロック図である。
【図13】本発明の実施例における前方車両検知装置に含まれる他の構成部のブロック図である。
【図14】本発明の実施例における前方車両検知装置の適用例を示した図である。
【図15】夜間の前方車両検知による車両ヘッドライト制御システムを示した図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の実施例における前方車両検知方法及び装置について説明する。
【0022】
先ず、図1を参照して、本発明の実施例における自車両の前方車両検知方法100を説明する。
【0023】
本発明の実施例における前方車両検知方法100は、ステップS101からスタートする。
【0024】
ステップS110において、1タイミングに得られた自車両の前方シーンの少なくとも1画像により、前記自車両の前方の移動ライト領域を検知する。
【0025】
次に、ステップS120において、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。
【0026】
次に、ステップS130において、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。
【0027】
例として、ステップS130において、サポート・ベクトル・マシン(Support Vector Machine−SVM)分類器により、前方車両候補の検証を行う。前処理において、画像の特徴(例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等)を抽出して、SVM分類器を訓練する。検証工程において、ステップS120で得られた各前方車両候補に対し、同様の特徴を抽出するとともに、SVM分類器の入力とする。次に、SVM分類器から1または-1を出力することで、該前方車両候補が車ライト(車両)であるか否かを判定する。例えば、SVM分類器から1が出力されると、該前方車両候補が車ライト(車両)であることを表し、SVM分類器から-1が出力されると、該前方車両候補が車ライト(車両)ではないことを表している。
【0028】
他の例として、ステップS130において、主成分分析分類器(Principle Component Analysis−PCA)により、前方車両候補の検証を行う。前処理において、車ライトのみを含む複数の画像ブロックを選出し、車両画像空間の固有ベクトルの訓練を行うとともに、他のグループの車ライト画像を前記固有ベクトルからなる固有空間に投影し、投影集合Tを得る。検証工程においては、ステップS120で得られた各前方車両候補を、訓練から得られた固有空間に投影し、投影ベクトルを得る。次に、該投影ベクトルと前記投影ベクトル集合Tにおける各投影ベクトル間の距離を計算する。最小距離が所定のある閾値未満になると、自前方車両候補が、検知された前方車両候補となり、それ以外の場合は、ノイズライトと見なされる。
【0029】
最後に、本発明の実施例における前方車両検知方法100は、ステップS199で終了する。
【0030】
以下、図2を参照して、図1におけるステップS110の移動ライト領域の検知フローチャートを説明する。
【0031】
先ず、ステップS1110において、前記少なくとも1画像中の第1の画像から、ライト領域を抽出する。
【0032】
次に、ステップS1120において、抽出されたライト領域と、前記自車両間の距離
(外1)
を計算する。
【0033】
ここで、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似していることから、単一の画像から車両ライト位置を検知することは非常に困難である。
【0034】
このため、ステップS1120において、少なくとも2つのウェブカメラ(例えば、双眼ウェブカメラ)で撮像された少なくとも2つの固有視差を有する画像により、即ち、少なくとも2つの画像により、抽出されたライト領域と前記自車両間の距離の算出を行うことが好ましい。
【0035】
また、代わりに、単一のウェブカメラにより、単一の画像を撮像し、例えば、赤外による距離測定等、他の方式により、抽出されたライト領域と前記自車両間の距離を測定してもよい。
【0036】
次に、ステップS1130において、抽出されたライト領域と、前の1タイミングに得られた少なくとも1画像における第1の画像中のライト領域とのマッチングを行う。
【0037】
例として、該ステップS1130において、テンプレートマッチング法により、抽出された各ライト領域に対し、該ライト領域のヒストグラムを計算し、かつ前の1タイミングに得られた対応画像から、該ライト領域と最も近接する領域を検索するとともに、該最近接領域内の各画像ブロックのヒストグラムを算出し、その後、抽出された該ライト領域のヒストグラムと算出された各画像ブロックのヒストグラムの比較を行う。計算は、下記式により行われる。
【数1】
【0038】
ここで、SDは、2つのヒストグラム間の距離を表し、
(外2)
は、現画像から抽出されたライト領域のヒストグラムの第iの値を表し、
(外3)
は、前の1タイミングに得られた画像中の前記最近接領域内の第kの画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、256を表す。最小のSDの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のSD値の画像ブロック(即ち、ライト領域)とのマッチングが成功したと判断される。
【0039】
次に、ステップS1140において、抽出されたライト領域が所定の移動ライト領域特徴を満たすか否かを判断する。
【0040】
最後に、ステップS1150において、抽出されたライト領域を前方の移動ライト領域と決定する。
【0041】
例として、ステップS1140において、前記距離
(外4)
と、前の1タイミングでマッチングされたライト領域と前記自車両間の距離
(外5)
と、前記自車両の移動速度
(外6)
と、により、抽出されたライト領域の移動速度
(外7)
を計算する。計算は、下記式により行われる。
【数2】
【0042】
なお、ステップS1140において、該移動速度が所定の閾値を超えたか否かを判断する。次に、ステップS1150において、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。
【0043】
他の例として、ステップS1140において、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断する。次に、ステップS1150において、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。
【0044】
また、他の例として、ステップS1140において、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断する。次に、ステップS1150において、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転(即ち、自車両と同様の運転方向)であると判断する。ここで、画像中の消失点は当該分野の公知概念であるため、詳細な説明は割愛する。
【0045】
また、ステップS1110において、先ず、前記少なくとも1画像中の第1の画像(該画像自体が、階調画像であるか、該画像を予め階調画像に変換する)を2値化画像に変換した後、再度、生成された2値化画像からライト領域を抽出することが好ましいが、本発明は、これに限られるものではなく、前記少なくとも1画像中の第1の画像を2値化画像に変換することなく、直接、前記少なくとも1画像中からライト領域を抽出してもよい。
【0046】
例として、ステップS1110において、前記少なくとも1画像における第1の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を255に設定し、それ以外の場合は、該画素値を0に設定することで、該当する2値化画像が生成される。次に、2値化画像において、連通域分析法(Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出する。連通域の幅を、CC.width、高さを、CC.heightとし、連通域の閾値の幅を、T_CCWidth、閾値の高さを、T_CCheightとし、閾値の幅/高さ比を、T_CCAspectとする。例えば、ある連通域が下記条件(式(3))を満足すると、該連通域をライト領域と判断することができる。
CC.width > T_CCWidth
CC.height > T_CCHeight (3)
CC.width / CC.height < T_CCAspect
【0047】
なお、連通域分析法は、当該分野の公知技術であるため、詳細の説明は割愛する。
【0048】
ここで、前記第1の画像の2値化画像によるライト領域の抽出後、前記第1の画像による後処理を行う。
【0049】
以下、図3を参照して、図1におけるステップS120の前方車両候補の生成フローチャートを説明する。
【0050】
先ず、ステップS1210において、前方の移動ライト領域の検知後、前記第1の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。
【0051】
次に、ステップS1220において、一対のライトを構成するライト領域を1つの領域に併合し、前方車両候補を取得する。
【0052】
なお、2つのライト領域が垂直方向において互いに重畳している場合、かつ、該2つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該2つのライト領域を1つの領域に併合する。
【0053】
前述のように、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似している。ステップS110で得られた移動ライト領域には、依然として、一部の建築物のライトや、一部の街路灯や、一部の反射プレートのライト等、非真実の移動ライト領域が存在する可能性がある。このため、得られた移動ライト領域から、これらの非真実の移動ライト領域を除去する必要がある。
【0054】
本発明においては、車両層抽出方法及び反射プレート除去方法を用いることができる。該車両層抽出方法においては、画像中の「車両層」を検知するとともに、該「車両層」の上方に位置する、検知されたライト(例えば、一部の街路灯、建築物上のライト)を、「ノイズ」として除去し、前記反射プレート除去方法においては、画像中の「反射プレート」を検知し除去する。
【0055】
次に、図4を参照して、車両層の抽出フローチャートを説明する。
【0056】
ステップS410において、前記第1の画像から車両層を検知する。例えば、前記第1の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。
【0057】
ステップS420において、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。全層のライト数がいずれも閾値未満になると、検知された車両層がないことになる。図5は、車両層の検知を示している。
【0058】
ここで、車両層の検知は、本発明に必要不可欠なステップではないことは、理解すべきである。
【0059】
次に、図6を参照して、反射プレートの検知フローチャートを説明する。
【0060】
ステップS610において、前記第1の画像で、生成された各一対のライトに対し、該一対のライトを横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算する。
【0061】
例として、一対のライトにおける2つのライトの中心点をそれぞれ、(a1,b1)と(a2,b2)とし、下記式(4)により、該一対のライトを横切る直線の傾斜度を計算するとともに、式(5)により、該直線とy軸の交差点の座標(0,b)を計算する。
【0062】
【数3】
次に、ステップS620において、最多のライトを横切った直線を検知する。また、直線と該直線が横切ったライトの関連付けを行うことが好ましい。
【0063】
例えば、ライトが4つの点から表され(例えば、図8に図示したように)、該4つの点の座標がそれぞれ
(外8)
であるとした場合、下記条件(式(6)と式(7)のいずれか)を満足すると、該直線は該ライトを横切ると判断する。
【数4】
【0064】
次に、ステップS630において、最多のライトを横切った直線の傾斜度が所定の傾斜度範囲内にあるか判断する。最後に、ステップS640において、前記最多のライトを横切った直線により横切られるライトを除去する。
【0065】
例として、直線の傾斜度kがある所定の閾値範囲内にあると、例えば、k>0.5或いはk<-0.5であると、該直線が横切るライトを、ノイズライトとして除去する。
【0066】
図7に示されたように、一対のライト9、10の位置する直線上のライトである、ライト9、10、11、14、16が除去される。
【0067】
なお、本発明の実施例による前方車両検知方法においては、前方車両候補が前方車両であることの検証後に、さらに追跡ステップを含むことが好ましい。該追跡ステップにおいては、前の1タイミングに得られた少なくとも1画像中の第1の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも1画像中の第1の画像における車両位置を計算する。
【0068】
例として、該追跡ステップにおいては、テンプレートマッチング方法を用いており、即ち、現画像において、前の1タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前の1タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。計算は、下記の式により行われる。
【0069】
【数5】
ここで、SDは、2つのヒストグラム間の距離を表し、
(外9)
は、現画像中の第kの隣接域の画像ブロックのヒストグラムの第iの値を表し、
(外10)
は、前の1タイミングに得られた画像中の検知された車両画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、256を表す。最小のSD値を有する隣接域が、予測車両の位置となる。最小のSD値が依然としてある所定の閾値を超えた場合は、前の1タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味するため、現画像にはマッチング結果が存在しないことになる。
【0070】
他の例として、該追跡ステップは、検知された車両の速度を予測し、さらに、前の1タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。
【0071】
次に、図9を参照して、本発明の実施例における前方車両検知方法の1適用例を説明する。
【0072】
本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知結果に応じた、車両ヘッドライトのハービーム/ロービーム(例えば、上向きライト、下向きライト)の自動調整が可能になる。
【0073】
応用例として、前方視野内に車両がないと、自動的にハイビーム(上向きライト)ONとなり、前方車両ありと検知された場合は、自動的にロービーム(下向きライト)状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。
【0074】
他の応用例として、自車両による、ビーム照射領域の自動制御を可能にし、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい(図9参照)。
【0075】
前述のように、本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知された前方車両に応じた、自動車速制御(Automatic Cruise Control−ACC)や、前方衝突警告(Forward Collision Warning−FCW)等が可能になる。
【0076】
次に、図10を参照して、本発明の実施例における前方車両検知装置1000のブロック図を説明する。
【0077】
本発明の実施例における前方車両検知装置1000は、少なくとも1つのウェブカメラにより撮像された自車両の前方シーンの画像が入力されるとともに、少なくとも1つの画像の前処理を行い、自車両の前方車両を検知する。
【0078】
また、前記少なくとも1つのウェブカメラは、少なくとも2つのウェブカメラ(例えば、双眼ウェブカメラ)であり、車両のバックミラーに近接する箇所に設けられ、自車両の前方シーンの画像捕獲に用いられることが好ましい。
【0079】
本発明の実施例による前方車両検知装置1000は、移動ライト検知部1010と、車両候補生成部1020と、車両候補検証部1030を備えている。
【0080】
移動ライト検知部1010は、1タイミングに得られた自車両の前方シーンの少なくとも1画像により、前記自車両の前方の移動ライト領域を検知する。
【0081】
車両候補生成部1020は、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。
【0082】
車両候補検証部1030は、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。
【0083】
例として、前記車両候補検証部1030は、サポート・ベクトル・マシン(SVM)分類器により、前方車両候補の検証を行う。前記SVM分類器においては、画像の特徴(例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等)が既に訓練済みである。前記車両候補検証部1030は、得られた各前方車両候補が入力され、該前方車両候補から、前記特徴を抽出するとともに、抽出した特徴を該車両候補検証部1030に含まれているSVM分類器に入力する。次に、SVM分類器から1または-1を出力することで、該前方車両候補が車ライト(車両)であるか否かの判定を行う。
【0084】
他の例として、前記車両候補検証部1030は、主成分分析分類器(PCA)により、前方車両候補の検証を行う。前記主成分分析分類器においては、車両画像空間の固有ベクトル及び前記固有ベクトルからなる固有空間の訓練が既になされ、さらに、1グループの車ライト画像の前記固有空間における投影ベクトル集合Tが備えられている。前記車両候補検証部1030は、得られた各前方車両候補が入力され、前記車両候補検証部1030に含まれる主成分分析分類器は、該前方車両候補を前記固有空間に投影し、投影ベクトルを得るとともに、該投影ベクトルと前記投影ベクトル集合Tにおける各投影ベクトル間の距離を計算する。前記車両候補検証部1030は、最小距離が所定のある閾値未満になると、前方車両候補を、前方車両と検証する。
【0085】
図11は、本発明の実施例における移動ライト検知部1010のブロック図である。
【0086】
該移動ライト検知部1010は、ライト領域抽出部1011と、距離計算部1012と、ライト領域マッチング部1013と、移動ライト決定部1014を有する。
【0087】
ライト領域抽出部1011は、前記少なくとも1画像中の第1の画像から、ライト領域を抽出する。
【0088】
距離計算部1012は、抽出されたライト領域と、前記自車両間の距離
(外11)
を計算する。
【0089】
ライト領域マッチング部1013は、抽出されたライト領域と、前の1タイミングに得られた少なくとも1画像における第1の画像中のライト領域とのマッチングを行う。
【0090】
例として、ライト領域マッチング部1013は、テンプレートマッチング法を用いて、前記式(1)により、抽出された各ライト領域のヒストグラムと、前の1タイミングに得られた対応画像中の、最近接領域内の各画像ブロックのヒストグラムとの比較を行い、最小のSD値を決定する。最小のSDの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のSD値の画像ブロック(即ち、ライト領域)とのマッチングが成功したと判断される。
【0091】
移動ライト決定部1014は、抽出されたライト領域が所定の移動ライト領域特徴を満たすと、抽出されたライト領域を前方の移動ライト領域と決定する。
【0092】
例として、移動ライト決定部1014は、前記距離
(外12)
と、前の1タイミングでマッチングされたライト領域と前記自車両間の距離
(外13)
と、前記自車両の移動速度
(外14)
と、により、前記式(2)に示されたように、抽出されたライト領域の移動速度
(外15)
を計算する。さらに、移動ライト決定部1014は、該移動速度が所定の閾値を超えたか否かを判断するとともに、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。
【0093】
他の例として、移動ライト決定部1014は、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断し、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。
【0094】
また、他の例として、移動ライト決定部1014は、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断し、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転(即ち、自車両と同様の運転方向)であると判断する。
【0095】
また、本発明の実施例による前方車両検知装置1000は、前記少なくとも1画像中の第1の画像(該画像自体が、階調画像であるか、該画像を予め階調画像に変換する)を2値化画像に変換し、生成された2値化画像からライト領域を抽出する2値化部(未図示)をさらに備えることが好ましいが、該2値化部は、本発明の実施例による前方車両検知装置1000に必要不可欠な部材ではない。
【0096】
該2値化部は、前記少なくとも1画像における第1の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を255に設定し、それ以外の場合は、該画素値を0に設定することで、該当する2値化画像が生成される。
【0097】
この場合、例として、ライト領域抽出部1011は、連通域分析法(Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出し、ある連通域が前記条件(式(3))を満足すると、該連通域をライト領域とする。
【0098】
図12は、本発明の実施例における車両候補生成部1020のブロック図である。
【0099】
車両候補生成部1020は、一対ライト抽出部1021と、一対ライト併合部1022を有する。
【0100】
一対ライト抽出部1021は、前記第1の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。
【0101】
一対のライト併合部1022は、一対のライトを構成するライト領域を1つの領域に併合し、前方車両候補を取得する。なお、一対のライト併合部1022は、2つのライト領域が垂直方向において互いに重畳している場合、かつ、該2つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該2つのライト領域を1つの領域に併合することが好ましい。
【0102】
図13は、本発明の実施例における前方車両検知装置1000に含まれる他の構成部のブロック図である。
【0103】
本発明の実施例における前方車両検知装置1000は、車両層抽出部1040と、反射プレート抽出部1050と、車両追跡部1060をさらに有する。
【0104】
車両層抽出部1040は、前記第1の画像から車両層を検知する。例えば、前記第1の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。次に、車両層抽出部1040は、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。車両層抽出部1040は、全層のライト数がいずれも閾値未満になると、検知された車両層がないと判断し、ライト除去処理は行わない。
【0105】
反射プレート抽出部1050は、直線生成部と、反射プレート直線検知部と、反射プレート除去部をさらに有することが好ましい。
【0106】
直線生成部は、前記第1の画像において、前記一対ライト抽出部から抽出された各一対のライトに対し、前記式(4)と(5)により、該一対のライトを横切る直線を計算するとともに、該直線が横切ったライトの数を計算する。
【0107】
前記反射プレート直線検知部は、最多のライトを横切った直線を検知する。
【0108】
前記反射プレート除去部は、前記反射プレート直線検知部から検知された直線の傾斜度が所定の傾斜度範囲内にあるか判断し、前記傾斜度が所定の傾斜度範囲内にあると、前記最多のライトを横切った直線により横切られるライトを除去する。
【0109】
例として、直線の傾斜度kが、例えば、k>0.5或いはk<-0.5であるように、ある所定の閾値範囲内にあると、該直線が横切るライトを、ノイズライトとして除去する。
【0110】
車両追跡部1060は、前の1タイミングに得られた少なくとも1画像中の第1の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも1画像中の第1の画像における車両位置を計算する。
【0111】
例として、車両追跡部1060は、テンプレートマッチング方法を用い、即ち、現画像において、前の1タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前記式(8)を用いて、前の1タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。最小のSD値を有する隣接域が、予測車両の位置となる。最小のSD値が依然としてある所定の閾値を超えた場合は、前の1タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味する。
【0112】
他の例として、車両追跡部1060は、検知された車両の速度を予測し、さらに、前の1タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。
【0113】
図14は、本発明の実施例における前方車両検知装置1000の応用例をしめした図である。
【0114】
本発明の実施例による前方車両検知装置1000においては、図15に示されたように、ヘッドライト制御部2010とともに、車両ヘッドライト制御システム100を構成することができる。
【0115】
車両ヘッドライト制御システム100は、双眼ウェブカメラ101と、前方車両検知装置102と、ヘッドライト制御モジュール103(たとえば、ヘッドライト制御部2010)と、ヘッドライト104と、速度センサー105を有する。
【0116】
双眼ウェブカメラ101は、車両のバックミラー付近に位置する。前方車両検知装置102は、本発明の実施例による前方車両検知装置1000からなる。
【0117】
ヘッドライト制御モジュール103は、前方車両検知装置102からの前方車両検知結果が入力されるとともに、該検知結果に応じた、車両ヘッドライトのハービーム/ロービーム(例えば、上向きライト、下向きライト)の自動調整が可能になる。
【0118】
例えば、ヘッドライト制御モジュール103は、前方視野内に車両がないと、自動的にハイビーム(上向きライト)ONとなり、前方車両ありと検知された場合は、自動的にロービーム(下向きライト)状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。
【0119】
例えば、ヘッドライト制御モジュール103は、ビーム照射領域を自動制御し、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい(図9参照)。
【0120】
なお、本発明の実施例による前方車両検知装置1000は、自動車速制御部2020とともに、自動車速制御システムを構成することができる。
【0121】
また、本発明の実施例による前方車両検知装置1000は、前方衝突警告部2030とともに、前方衝突警告システムを構成することができる。
【0122】
しかし、本発明の実施例による前方車両検知方法及び装置は、前述の応用に限られるものではない。
【0123】
本発明の実施例による前方車両検知方法及び装置は、2つの異なるタイミングに得られた画像により、ライトの移動速度を予測し、予測した移動速度により、移動ライトを検知するとともに、移動ライトの特徴により、「ノイズライト」を除去することで、自車両の前方車両を正確に検知することができる。
【0124】
ここで、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサーや、これらの組み合わせ等の各種形式により、本発明の実施例による前方車両検知方法及び装置を実現できることは、言うまでもない。
【0125】
なお、ソフトウェアにより、図示された一部の構成システム部材や方法を実施することが好ましく、これらのシステム部材や処理機能モジュール間の実際の接続は、本発明でプログラミングされた形式によって異なってもよい。当業者は、以上の説明から、本発明のこれらの実施や配置、及び類似の実施や配置を想到することができる。
【0126】
以上、図面を参照して本発明の一部の実施例を説明したが、前述の実施例は一例に過ぎず、本発明は、これらに限定されるものではない。当業者は、特許請求範囲及び同等物に限定された本発明の範囲と精神を逸脱しない範囲内の、これらの実施例への種々の形式及び細部上の変更ができることは言うまでもない。
【先行技術文献】
【特許文献】
【0127】
【特許文献1】米国特許第US7512252B2号明細書
【特許文献2】米国特許第US7429825B2号明細書
【技術分野】
【0001】
本発明は、車両検知方法および車両検知装置に関し、より具体的には、前方車両検知方法および前方車両検知装置に関する。
【背景技術】
【0002】
夜間運転は、昼に比べて視野が悪くなることから、道路交通事故の主な要因の一つとなっている。夜間運転時、車両のハイビーム(例えば、上向き光線)は、運転手により良好な視野を与えることができる一方、向こう側の運転手に一定の危険をもたらす恐れもある。運転手にとっては、手動によるハイ/ロービームの頻繁な調整は、運転の利便性がよくない。
【0003】
特許文献1(米国特許US7,512,252B2)には、一つの車載ビデオカメラを用いて、長時間露光と短時間露光をそれぞれ行い、2つの画像を取得し、該異なる露光による2つの画像から、画像特徴に応じたテールライト、ヘッドライトや、他のライト(例えば、信号灯や、街路灯等)の識別を行う車両検知システムが提案されている。
【0004】
該特許文献1においては、日本における車両の左側通行をもとに、ヘッドライトを画像の右半分に、テールライトを画像の左半分に仮設しているが、実際の道路状況を考えると、道路は常に直線ではなく、通常、複数の車道があることから、該仮設が必ずしも正確とはいえない。なお、該特許においては、消失ポイントと検知されたライトの位置関係を比較して、該ライトが車両からのものかを判定しているが、非平坦道路(例えば、坂道)の場合は、該仮設が必ずしも正確とはいえない。また、該特許においては、露光の強さ制御により、テールライトが長時間画像のみに出現するようにしているが、ライトの強さは、ヘッドライトや、テールライトのみに関係しているとはいえず、たとえば、近距離の車両のテールライトが遠距離の車両のヘッドライトよりもライトの強さが大きく、より明るい等、ライトは、自車両の距離にも関係していることから、該仮設は、必ずしも正確とはいえない。
【0005】
また、特許文献2(米国特許US7,429,825B2)には、自車両の後方車両情報を取得する後方車両情報捕獲モジュールと、後方車両の情報により、自車両に対する追い越しを予測する追越行為予測モジュールと、予測した追越行為から、所定のモード切替条件を満たすか否かを判断するモード切替条件判定モジュールと、所定のモード切替条件を満たすと、ハイビームとロービーム間の自動切換えを行う自動モード設定モジュールを備えた車ライト制御システムが提案されている。
【0006】
しかしながら、該特許文献2における車ライト制御システムでは、夜間道路の白線(車道)検知による、自車両と同一の車道内の後方車両の検知しか行われておらず、自車両の前方車両の検知は行われていない。
【0007】
このため、夜間の自車両の前方車両の検知が可能な方法及び装置が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、前述の問題に鑑みてなされたものであり、自車両の前方の一対の移動ライトの検知により、前記移動ライトが所定の車ライト特徴を満たすものか否かを判断することで、自車両の前方車両を検知する自車両の前方車両の検知方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知するステップと、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定するステップとを含む、前方車両検知方法を提供する。
【0010】
また、前記前方車両検知方法において、前記前方の移動ライト領域を検知するステップは、前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するステップと、前記抽出されたライト領域と前記自車両との間の距離を計算するステップと、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うステップと、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定するステップとを含むことが好ましい。
【0011】
また、前記前方車両検知方法において、前記一対のライト領域を抽出する前に、前記少なくとも一つの画像中の第1の画像から、車両層を検知するステップと、前記車両層の上方の移動ライト領域を除去するステップとをさらに含むことが好ましい。
【0012】
また、前記前方車両検知方法において、前記一対のライト領域を抽出して前方車両候補を生成するステップは、前記少なくとも一つの画像中の第1の画像において、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成するステップと、前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得するステップとを含むことが好ましい。
【0013】
また、前記一対のライト領域を構成した後に、各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算するステップと、最も多いライトを横切った直線を検知するステップと、前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するステップとをさらに含むことが好ましい。
【0014】
また、前記前方車両検知方法において、前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行うステップをさらに含むことが好ましい。
【0015】
本発明の他の態様においては、一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置を提供する。
【0016】
また、前記前方車両検知装置において、前記移動ライト検知部は、前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するライト領域抽出部と、前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うライト領域マッチング部と、前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含むことが好ましい。
【0017】
また、前記前方車両検知装置において、前記車両候補生成部は、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含むことが好ましい。
【0018】
また、前記前方車両検知装置において、前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含むことが好ましい。
【発明の効果】
【0019】
本発明の前方車両検知方法及び装置によると、移動ライトを検知し、かつ検知された移動ライトが車ライトの特徴を満たすか否かを検証することにより、自車両の前方車両を正確に検知することが可能になる。
【図面の簡単な説明】
【0020】
本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性が容易に理解できるように、以下、図面を参照して、本発明の実施例について詳細に説明する。
【図1】本発明の実施例における前方車両検知方法のフローチャートである。
【図2】本発明の実施例における移動ライト領域の検知フローチャートである。
【図3】本発明の実施例における前方車両候補の生成フローチャートである。
【図4】本発明の実施例における車両層の抽出フローチャートである。
【図5】本発明の実施例における車両層の抽出図である。
【図6】本発明の実施例における反射プレートの検知フローチャートである。
【図7】本発明の実施例における反射プレートの除去を示した図である。
【図8】本発明の実施例における直線のライト領域通過有無を判断する例を示した図である。
【図9】本発明の実施例における前方車両検知方法の適用例を示した図である。
【図10】本発明の実施例における前方車両検知装置のブロック図である。
【図11】本発明の実施例における移動ライト検知部のブロック図である。
【図12】本発明の実施例における車両候補生成部のブロック図である。
【図13】本発明の実施例における前方車両検知装置に含まれる他の構成部のブロック図である。
【図14】本発明の実施例における前方車両検知装置の適用例を示した図である。
【図15】夜間の前方車両検知による車両ヘッドライト制御システムを示した図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の実施例における前方車両検知方法及び装置について説明する。
【0022】
先ず、図1を参照して、本発明の実施例における自車両の前方車両検知方法100を説明する。
【0023】
本発明の実施例における前方車両検知方法100は、ステップS101からスタートする。
【0024】
ステップS110において、1タイミングに得られた自車両の前方シーンの少なくとも1画像により、前記自車両の前方の移動ライト領域を検知する。
【0025】
次に、ステップS120において、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。
【0026】
次に、ステップS130において、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。
【0027】
例として、ステップS130において、サポート・ベクトル・マシン(Support Vector Machine−SVM)分類器により、前方車両候補の検証を行う。前処理において、画像の特徴(例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等)を抽出して、SVM分類器を訓練する。検証工程において、ステップS120で得られた各前方車両候補に対し、同様の特徴を抽出するとともに、SVM分類器の入力とする。次に、SVM分類器から1または-1を出力することで、該前方車両候補が車ライト(車両)であるか否かを判定する。例えば、SVM分類器から1が出力されると、該前方車両候補が車ライト(車両)であることを表し、SVM分類器から-1が出力されると、該前方車両候補が車ライト(車両)ではないことを表している。
【0028】
他の例として、ステップS130において、主成分分析分類器(Principle Component Analysis−PCA)により、前方車両候補の検証を行う。前処理において、車ライトのみを含む複数の画像ブロックを選出し、車両画像空間の固有ベクトルの訓練を行うとともに、他のグループの車ライト画像を前記固有ベクトルからなる固有空間に投影し、投影集合Tを得る。検証工程においては、ステップS120で得られた各前方車両候補を、訓練から得られた固有空間に投影し、投影ベクトルを得る。次に、該投影ベクトルと前記投影ベクトル集合Tにおける各投影ベクトル間の距離を計算する。最小距離が所定のある閾値未満になると、自前方車両候補が、検知された前方車両候補となり、それ以外の場合は、ノイズライトと見なされる。
【0029】
最後に、本発明の実施例における前方車両検知方法100は、ステップS199で終了する。
【0030】
以下、図2を参照して、図1におけるステップS110の移動ライト領域の検知フローチャートを説明する。
【0031】
先ず、ステップS1110において、前記少なくとも1画像中の第1の画像から、ライト領域を抽出する。
【0032】
次に、ステップS1120において、抽出されたライト領域と、前記自車両間の距離
(外1)
を計算する。
【0033】
ここで、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似していることから、単一の画像から車両ライト位置を検知することは非常に困難である。
【0034】
このため、ステップS1120において、少なくとも2つのウェブカメラ(例えば、双眼ウェブカメラ)で撮像された少なくとも2つの固有視差を有する画像により、即ち、少なくとも2つの画像により、抽出されたライト領域と前記自車両間の距離の算出を行うことが好ましい。
【0035】
また、代わりに、単一のウェブカメラにより、単一の画像を撮像し、例えば、赤外による距離測定等、他の方式により、抽出されたライト領域と前記自車両間の距離を測定してもよい。
【0036】
次に、ステップS1130において、抽出されたライト領域と、前の1タイミングに得られた少なくとも1画像における第1の画像中のライト領域とのマッチングを行う。
【0037】
例として、該ステップS1130において、テンプレートマッチング法により、抽出された各ライト領域に対し、該ライト領域のヒストグラムを計算し、かつ前の1タイミングに得られた対応画像から、該ライト領域と最も近接する領域を検索するとともに、該最近接領域内の各画像ブロックのヒストグラムを算出し、その後、抽出された該ライト領域のヒストグラムと算出された各画像ブロックのヒストグラムの比較を行う。計算は、下記式により行われる。
【数1】
【0038】
ここで、SDは、2つのヒストグラム間の距離を表し、
(外2)
は、現画像から抽出されたライト領域のヒストグラムの第iの値を表し、
(外3)
は、前の1タイミングに得られた画像中の前記最近接領域内の第kの画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、256を表す。最小のSDの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のSD値の画像ブロック(即ち、ライト領域)とのマッチングが成功したと判断される。
【0039】
次に、ステップS1140において、抽出されたライト領域が所定の移動ライト領域特徴を満たすか否かを判断する。
【0040】
最後に、ステップS1150において、抽出されたライト領域を前方の移動ライト領域と決定する。
【0041】
例として、ステップS1140において、前記距離
(外4)
と、前の1タイミングでマッチングされたライト領域と前記自車両間の距離
(外5)
と、前記自車両の移動速度
(外6)
と、により、抽出されたライト領域の移動速度
(外7)
を計算する。計算は、下記式により行われる。
【数2】
【0042】
なお、ステップS1140において、該移動速度が所定の閾値を超えたか否かを判断する。次に、ステップS1150において、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。
【0043】
他の例として、ステップS1140において、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断する。次に、ステップS1150において、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。
【0044】
また、他の例として、ステップS1140において、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断する。次に、ステップS1150において、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転(即ち、自車両と同様の運転方向)であると判断する。ここで、画像中の消失点は当該分野の公知概念であるため、詳細な説明は割愛する。
【0045】
また、ステップS1110において、先ず、前記少なくとも1画像中の第1の画像(該画像自体が、階調画像であるか、該画像を予め階調画像に変換する)を2値化画像に変換した後、再度、生成された2値化画像からライト領域を抽出することが好ましいが、本発明は、これに限られるものではなく、前記少なくとも1画像中の第1の画像を2値化画像に変換することなく、直接、前記少なくとも1画像中からライト領域を抽出してもよい。
【0046】
例として、ステップS1110において、前記少なくとも1画像における第1の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を255に設定し、それ以外の場合は、該画素値を0に設定することで、該当する2値化画像が生成される。次に、2値化画像において、連通域分析法(Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出する。連通域の幅を、CC.width、高さを、CC.heightとし、連通域の閾値の幅を、T_CCWidth、閾値の高さを、T_CCheightとし、閾値の幅/高さ比を、T_CCAspectとする。例えば、ある連通域が下記条件(式(3))を満足すると、該連通域をライト領域と判断することができる。
CC.width > T_CCWidth
CC.height > T_CCHeight (3)
CC.width / CC.height < T_CCAspect
【0047】
なお、連通域分析法は、当該分野の公知技術であるため、詳細の説明は割愛する。
【0048】
ここで、前記第1の画像の2値化画像によるライト領域の抽出後、前記第1の画像による後処理を行う。
【0049】
以下、図3を参照して、図1におけるステップS120の前方車両候補の生成フローチャートを説明する。
【0050】
先ず、ステップS1210において、前方の移動ライト領域の検知後、前記第1の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。
【0051】
次に、ステップS1220において、一対のライトを構成するライト領域を1つの領域に併合し、前方車両候補を取得する。
【0052】
なお、2つのライト領域が垂直方向において互いに重畳している場合、かつ、該2つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該2つのライト領域を1つの領域に併合する。
【0053】
前述のように、夜間は、例えば、「ノイズ」ライトとなる、建築物のライトや、街路灯や、反射プレートのライト等の、多くのライトが車両ライトと外形上非常に類似している。ステップS110で得られた移動ライト領域には、依然として、一部の建築物のライトや、一部の街路灯や、一部の反射プレートのライト等、非真実の移動ライト領域が存在する可能性がある。このため、得られた移動ライト領域から、これらの非真実の移動ライト領域を除去する必要がある。
【0054】
本発明においては、車両層抽出方法及び反射プレート除去方法を用いることができる。該車両層抽出方法においては、画像中の「車両層」を検知するとともに、該「車両層」の上方に位置する、検知されたライト(例えば、一部の街路灯、建築物上のライト)を、「ノイズ」として除去し、前記反射プレート除去方法においては、画像中の「反射プレート」を検知し除去する。
【0055】
次に、図4を参照して、車両層の抽出フローチャートを説明する。
【0056】
ステップS410において、前記第1の画像から車両層を検知する。例えば、前記第1の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。
【0057】
ステップS420において、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。全層のライト数がいずれも閾値未満になると、検知された車両層がないことになる。図5は、車両層の検知を示している。
【0058】
ここで、車両層の検知は、本発明に必要不可欠なステップではないことは、理解すべきである。
【0059】
次に、図6を参照して、反射プレートの検知フローチャートを説明する。
【0060】
ステップS610において、前記第1の画像で、生成された各一対のライトに対し、該一対のライトを横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算する。
【0061】
例として、一対のライトにおける2つのライトの中心点をそれぞれ、(a1,b1)と(a2,b2)とし、下記式(4)により、該一対のライトを横切る直線の傾斜度を計算するとともに、式(5)により、該直線とy軸の交差点の座標(0,b)を計算する。
【0062】
【数3】
次に、ステップS620において、最多のライトを横切った直線を検知する。また、直線と該直線が横切ったライトの関連付けを行うことが好ましい。
【0063】
例えば、ライトが4つの点から表され(例えば、図8に図示したように)、該4つの点の座標がそれぞれ
(外8)
であるとした場合、下記条件(式(6)と式(7)のいずれか)を満足すると、該直線は該ライトを横切ると判断する。
【数4】
【0064】
次に、ステップS630において、最多のライトを横切った直線の傾斜度が所定の傾斜度範囲内にあるか判断する。最後に、ステップS640において、前記最多のライトを横切った直線により横切られるライトを除去する。
【0065】
例として、直線の傾斜度kがある所定の閾値範囲内にあると、例えば、k>0.5或いはk<-0.5であると、該直線が横切るライトを、ノイズライトとして除去する。
【0066】
図7に示されたように、一対のライト9、10の位置する直線上のライトである、ライト9、10、11、14、16が除去される。
【0067】
なお、本発明の実施例による前方車両検知方法においては、前方車両候補が前方車両であることの検証後に、さらに追跡ステップを含むことが好ましい。該追跡ステップにおいては、前の1タイミングに得られた少なくとも1画像中の第1の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも1画像中の第1の画像における車両位置を計算する。
【0068】
例として、該追跡ステップにおいては、テンプレートマッチング方法を用いており、即ち、現画像において、前の1タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前の1タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。計算は、下記の式により行われる。
【0069】
【数5】
ここで、SDは、2つのヒストグラム間の距離を表し、
(外9)
は、現画像中の第kの隣接域の画像ブロックのヒストグラムの第iの値を表し、
(外10)
は、前の1タイミングに得られた画像中の検知された車両画像ブロックのヒストグラムの第iの値を表し、binsは、ヒストグラムのグレースケールの数を表し、例えば、256を表す。最小のSD値を有する隣接域が、予測車両の位置となる。最小のSD値が依然としてある所定の閾値を超えた場合は、前の1タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味するため、現画像にはマッチング結果が存在しないことになる。
【0070】
他の例として、該追跡ステップは、検知された車両の速度を予測し、さらに、前の1タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。
【0071】
次に、図9を参照して、本発明の実施例における前方車両検知方法の1適用例を説明する。
【0072】
本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知結果に応じた、車両ヘッドライトのハービーム/ロービーム(例えば、上向きライト、下向きライト)の自動調整が可能になる。
【0073】
応用例として、前方視野内に車両がないと、自動的にハイビーム(上向きライト)ONとなり、前方車両ありと検知された場合は、自動的にロービーム(下向きライト)状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。
【0074】
他の応用例として、自車両による、ビーム照射領域の自動制御を可能にし、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい(図9参照)。
【0075】
前述のように、本発明の実施例による前方車両検知方法によると、自車両の前方車両の自動検知が可能になる。自車両においては、検知された前方車両に応じた、自動車速制御(Automatic Cruise Control−ACC)や、前方衝突警告(Forward Collision Warning−FCW)等が可能になる。
【0076】
次に、図10を参照して、本発明の実施例における前方車両検知装置1000のブロック図を説明する。
【0077】
本発明の実施例における前方車両検知装置1000は、少なくとも1つのウェブカメラにより撮像された自車両の前方シーンの画像が入力されるとともに、少なくとも1つの画像の前処理を行い、自車両の前方車両を検知する。
【0078】
また、前記少なくとも1つのウェブカメラは、少なくとも2つのウェブカメラ(例えば、双眼ウェブカメラ)であり、車両のバックミラーに近接する箇所に設けられ、自車両の前方シーンの画像捕獲に用いられることが好ましい。
【0079】
本発明の実施例による前方車両検知装置1000は、移動ライト検知部1010と、車両候補生成部1020と、車両候補検証部1030を備えている。
【0080】
移動ライト検知部1010は、1タイミングに得られた自車両の前方シーンの少なくとも1画像により、前記自車両の前方の移動ライト領域を検知する。
【0081】
車両候補生成部1020は、検知された前方の移動ライト領域からライト領域対を抽出して、前方車両候補を生成する。
【0082】
車両候補検証部1030は、前記前方車両候補が所定の車ライト特徴を満たすと、前記前方車両候補を前方車両と検証する。
【0083】
例として、前記車両候補検証部1030は、サポート・ベクトル・マシン(SVM)分類器により、前方車両候補の検証を行う。前記SVM分類器においては、画像の特徴(例えば、アスペクト比、ヒストグラム、エッジ特徴、投影特徴等)が既に訓練済みである。前記車両候補検証部1030は、得られた各前方車両候補が入力され、該前方車両候補から、前記特徴を抽出するとともに、抽出した特徴を該車両候補検証部1030に含まれているSVM分類器に入力する。次に、SVM分類器から1または-1を出力することで、該前方車両候補が車ライト(車両)であるか否かの判定を行う。
【0084】
他の例として、前記車両候補検証部1030は、主成分分析分類器(PCA)により、前方車両候補の検証を行う。前記主成分分析分類器においては、車両画像空間の固有ベクトル及び前記固有ベクトルからなる固有空間の訓練が既になされ、さらに、1グループの車ライト画像の前記固有空間における投影ベクトル集合Tが備えられている。前記車両候補検証部1030は、得られた各前方車両候補が入力され、前記車両候補検証部1030に含まれる主成分分析分類器は、該前方車両候補を前記固有空間に投影し、投影ベクトルを得るとともに、該投影ベクトルと前記投影ベクトル集合Tにおける各投影ベクトル間の距離を計算する。前記車両候補検証部1030は、最小距離が所定のある閾値未満になると、前方車両候補を、前方車両と検証する。
【0085】
図11は、本発明の実施例における移動ライト検知部1010のブロック図である。
【0086】
該移動ライト検知部1010は、ライト領域抽出部1011と、距離計算部1012と、ライト領域マッチング部1013と、移動ライト決定部1014を有する。
【0087】
ライト領域抽出部1011は、前記少なくとも1画像中の第1の画像から、ライト領域を抽出する。
【0088】
距離計算部1012は、抽出されたライト領域と、前記自車両間の距離
(外11)
を計算する。
【0089】
ライト領域マッチング部1013は、抽出されたライト領域と、前の1タイミングに得られた少なくとも1画像における第1の画像中のライト領域とのマッチングを行う。
【0090】
例として、ライト領域マッチング部1013は、テンプレートマッチング法を用いて、前記式(1)により、抽出された各ライト領域のヒストグラムと、前の1タイミングに得られた対応画像中の、最近接領域内の各画像ブロックのヒストグラムとの比較を行い、最小のSD値を決定する。最小のSDの値が、ある所定の閾値未満になると、抽出されたライト領域と前記最近接領域内の最小のSD値の画像ブロック(即ち、ライト領域)とのマッチングが成功したと判断される。
【0091】
移動ライト決定部1014は、抽出されたライト領域が所定の移動ライト領域特徴を満たすと、抽出されたライト領域を前方の移動ライト領域と決定する。
【0092】
例として、移動ライト決定部1014は、前記距離
(外12)
と、前の1タイミングでマッチングされたライト領域と前記自車両間の距離
(外13)
と、前記自車両の移動速度
(外14)
と、により、前記式(2)に示されたように、抽出されたライト領域の移動速度
(外15)
を計算する。さらに、移動ライト決定部1014は、該移動速度が所定の閾値を超えたか否かを判断するとともに、移動速度が所定閾値を超えたライト領域を、前方の移動ライト領域とする。
【0093】
他の例として、移動ライト決定部1014は、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなるか否かを判断し、抽出されたライト領域のサイズが、前の1タイミングに得られた対応画像中の対応ライト領域のサイズよりも小さくなると、抽出されたライト領域を前方の移動ライト領域とする。
【0094】
また、他の例として、移動ライト決定部1014は、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなるか否かを判断し、抽出されたライト領域と消失点間の距離が、前の1タイミングに得られた対応画像中の対応ライト領域と消失点間の距離よりも小さくなると、抽出されたライト領域を前方の移動ライト領域とするとともに、該移動ライト領域が前向き運転(即ち、自車両と同様の運転方向)であると判断する。
【0095】
また、本発明の実施例による前方車両検知装置1000は、前記少なくとも1画像中の第1の画像(該画像自体が、階調画像であるか、該画像を予め階調画像に変換する)を2値化画像に変換し、生成された2値化画像からライト領域を抽出する2値化部(未図示)をさらに備えることが好ましいが、該2値化部は、本発明の実施例による前方車両検知装置1000に必要不可欠な部材ではない。
【0096】
該2値化部は、前記少なくとも1画像における第1の画像の階調画像中の各画素値と所定の閾値T_Binarizationとの比較を行い、現画素の階調値が閾値を超えた場合は、該画素値を255に設定し、それ以外の場合は、該画素値を0に設定することで、該当する2値化画像が生成される。
【0097】
この場合、例として、ライト領域抽出部1011は、連通域分析法(Connect Component Analysis−CCA)により、画像中の全連通域の位置及びサイズを取得するとともに、各連通域の幅と高さを算出し、ある連通域が前記条件(式(3))を満足すると、該連通域をライト領域とする。
【0098】
図12は、本発明の実施例における車両候補生成部1020のブロック図である。
【0099】
車両候補生成部1020は、一対ライト抽出部1021と、一対ライト併合部1022を有する。
【0100】
一対ライト抽出部1021は、前記第1の画像から、同様の速度を有しかつ対称の移動ライト領域を、一対のライトを構成するものとする。
【0101】
一対のライト併合部1022は、一対のライトを構成するライト領域を1つの領域に併合し、前方車両候補を取得する。なお、一対のライト併合部1022は、2つのライト領域が垂直方向において互いに重畳している場合、かつ、該2つのライト領域からなる囲い矩形のアスペクト比が所定の閾値未満になる場合は、該2つのライト領域を1つの領域に併合することが好ましい。
【0102】
図13は、本発明の実施例における前方車両検知装置1000に含まれる他の構成部のブロック図である。
【0103】
本発明の実施例における前方車両検知装置1000は、車両層抽出部1040と、反射プレート抽出部1050と、車両追跡部1060をさらに有する。
【0104】
車両層抽出部1040は、前記第1の画像から車両層を検知する。例えば、前記第1の画像を、下から上に、複数の層に分割し、各層におけるライトの数を計算する。ある層が、最多の数のライトを有し、かつ該数が所定の閾値を超えた場合、該層を、車両層と設定する。次に、車両層抽出部1040は、前記車両層の上方に出現する移動ライト領域を除去する。例えば、前記車両層の上方に出現するライトを、ノイズライトとして除去する。車両層抽出部1040は、全層のライト数がいずれも閾値未満になると、検知された車両層がないと判断し、ライト除去処理は行わない。
【0105】
反射プレート抽出部1050は、直線生成部と、反射プレート直線検知部と、反射プレート除去部をさらに有することが好ましい。
【0106】
直線生成部は、前記第1の画像において、前記一対ライト抽出部から抽出された各一対のライトに対し、前記式(4)と(5)により、該一対のライトを横切る直線を計算するとともに、該直線が横切ったライトの数を計算する。
【0107】
前記反射プレート直線検知部は、最多のライトを横切った直線を検知する。
【0108】
前記反射プレート除去部は、前記反射プレート直線検知部から検知された直線の傾斜度が所定の傾斜度範囲内にあるか判断し、前記傾斜度が所定の傾斜度範囲内にあると、前記最多のライトを横切った直線により横切られるライトを除去する。
【0109】
例として、直線の傾斜度kが、例えば、k>0.5或いはk<-0.5であるように、ある所定の閾値範囲内にあると、該直線が横切るライトを、ノイズライトとして除去する。
【0110】
車両追跡部1060は、前の1タイミングに得られた少なくとも1画像中の第1の画像から検知された車両位置に基づき、現タイミングに得られた少なくとも1画像中の第1の画像における車両位置を計算する。
【0111】
例として、車両追跡部1060は、テンプレートマッチング方法を用い、即ち、現画像において、前の1タイミングに得られた画像において検知された車両位置に基づき、隣接領域内の各画像ブロックのヒストグラムを計算後、前記式(8)を用いて、前の1タイミングに得られた画像から検知された車両画像ブロックのヒストグラムとの比較を行う。最小のSD値を有する隣接域が、予測車両の位置となる。最小のSD値が依然としてある所定の閾値を超えた場合は、前の1タイミングに得られた画像中の検知された車両が現画像から既に消失したことを意味する。
【0112】
他の例として、車両追跡部1060は、検知された車両の速度を予測し、さらに、前の1タイミングに得られた画像中の検知された車両が現画像中で出現し得る位置を予測することにより、現画像中の比較的に小範囲の検索範囲を決定し、該範囲内で、テンプレートマッチング方法を用いて、車両の位置を予測するカルマンフィルタ方法を用いてもよい。
【0113】
図14は、本発明の実施例における前方車両検知装置1000の応用例をしめした図である。
【0114】
本発明の実施例による前方車両検知装置1000においては、図15に示されたように、ヘッドライト制御部2010とともに、車両ヘッドライト制御システム100を構成することができる。
【0115】
車両ヘッドライト制御システム100は、双眼ウェブカメラ101と、前方車両検知装置102と、ヘッドライト制御モジュール103(たとえば、ヘッドライト制御部2010)と、ヘッドライト104と、速度センサー105を有する。
【0116】
双眼ウェブカメラ101は、車両のバックミラー付近に位置する。前方車両検知装置102は、本発明の実施例による前方車両検知装置1000からなる。
【0117】
ヘッドライト制御モジュール103は、前方車両検知装置102からの前方車両検知結果が入力されるとともに、該検知結果に応じた、車両ヘッドライトのハービーム/ロービーム(例えば、上向きライト、下向きライト)の自動調整が可能になる。
【0118】
例えば、ヘッドライト制御モジュール103は、前方視野内に車両がないと、自動的にハイビーム(上向きライト)ONとなり、前方車両ありと検知された場合は、自動的にロービーム(下向きライト)状態に調整される。該応用においては、自車両の運転手への良好な視野の提供が可能になるとともに他の運転手への妨害を、最大限減らすことができる。
【0119】
例えば、ヘッドライト制御モジュール103は、ビーム照射領域を自動制御し、車両が検知された領域にのみロービームを使用し、他の領域にはハイビームを用いるようにしてもよい(図9参照)。
【0120】
なお、本発明の実施例による前方車両検知装置1000は、自動車速制御部2020とともに、自動車速制御システムを構成することができる。
【0121】
また、本発明の実施例による前方車両検知装置1000は、前方衝突警告部2030とともに、前方衝突警告システムを構成することができる。
【0122】
しかし、本発明の実施例による前方車両検知方法及び装置は、前述の応用に限られるものではない。
【0123】
本発明の実施例による前方車両検知方法及び装置は、2つの異なるタイミングに得られた画像により、ライトの移動速度を予測し、予測した移動速度により、移動ライトを検知するとともに、移動ライトの特徴により、「ノイズライト」を除去することで、自車両の前方車両を正確に検知することができる。
【0124】
ここで、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサーや、これらの組み合わせ等の各種形式により、本発明の実施例による前方車両検知方法及び装置を実現できることは、言うまでもない。
【0125】
なお、ソフトウェアにより、図示された一部の構成システム部材や方法を実施することが好ましく、これらのシステム部材や処理機能モジュール間の実際の接続は、本発明でプログラミングされた形式によって異なってもよい。当業者は、以上の説明から、本発明のこれらの実施や配置、及び類似の実施や配置を想到することができる。
【0126】
以上、図面を参照して本発明の一部の実施例を説明したが、前述の実施例は一例に過ぎず、本発明は、これらに限定されるものではない。当業者は、特許請求範囲及び同等物に限定された本発明の範囲と精神を逸脱しない範囲内の、これらの実施例への種々の形式及び細部上の変更ができることは言うまでもない。
【先行技術文献】
【特許文献】
【0127】
【特許文献1】米国特許第US7512252B2号明細書
【特許文献2】米国特許第US7429825B2号明細書
【特許請求の範囲】
【請求項1】
一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知するステップと、
前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、
前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定するステップとを含む、前方車両検知方法。
【請求項2】
前記前方の移動ライト領域を検知するステップは、
前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するステップと、
前記抽出されたライト領域と前記自車両との間の距離を計算するステップと、
前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うステップと、
前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定するステップとを含む、請求項1に記載の前方車両検知方法。
【請求項3】
前記一対のライト領域を抽出する前に、
前記少なくとも一つの画像中の第1の画像から、車両層を検知するステップと、
前記車両層の上方の移動ライト領域を除去するステップとをさらに含む、請求項1に記載の前方車両検知方法。
【請求項4】
前記一対のライト領域を抽出して前方車両候補を生成するステップは、
前記少なくとも一つの画像中の第1の画像において、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成するステップと、
前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得するステップとを含む、請求項1に記載の前方車両検知方法。
【請求項5】
前記一対のライト領域を構成した後に、
各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算するステップと、
最も多いライトを横切った直線を検知するステップと、
前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するステップとをさらに含む、請求項4に記載の前方車両検知方法。
【請求項6】
前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行うステップをさらに含む、請求項1に記載の前方車両検知方法。
【請求項7】
一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、
前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、
前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置。
【請求項8】
前記移動ライト検知部は、
前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するライト領域抽出部と、
前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、
前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うライト領域マッチング部と、
前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含む、請求項7に記載の前方車両検知装置。
【請求項9】
前記車両候補生成部は、
同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、
前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含む、請求項7に記載の前方車両検知装置。
【請求項10】
前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含む、請求項7に記載の前方車両検知装置。
【請求項1】
一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知するステップと、
前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成するステップと、
前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定するステップとを含む、前方車両検知方法。
【請求項2】
前記前方の移動ライト領域を検知するステップは、
前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するステップと、
前記抽出されたライト領域と前記自車両との間の距離を計算するステップと、
前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うステップと、
前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定するステップとを含む、請求項1に記載の前方車両検知方法。
【請求項3】
前記一対のライト領域を抽出する前に、
前記少なくとも一つの画像中の第1の画像から、車両層を検知するステップと、
前記車両層の上方の移動ライト領域を除去するステップとをさらに含む、請求項1に記載の前方車両検知方法。
【請求項4】
前記一対のライト領域を抽出して前方車両候補を生成するステップは、
前記少なくとも一つの画像中の第1の画像において、同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成するステップと、
前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得するステップとを含む、請求項1に記載の前方車両検知方法。
【請求項5】
前記一対のライト領域を構成した後に、
各前記一対のライト領域に対し、該一対のライト領域を横切る直線を生成し、該直線の傾斜度を計算するとともに、該直線が横切ったライトの数を計算するステップと、
最も多いライトを横切った直線を検知するステップと、
前記最も多いライトを横切った直線の傾斜度が所定の傾斜度範囲内にある場合、前記最も多いライトを横切った直線により横切られるライトを除去するステップとをさらに含む、請求項4に記載の前方車両検知方法。
【請求項6】
前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行うステップをさらに含む、請求項1に記載の前方車両検知方法。
【請求項7】
一つのタイミングで得られた自車両の前方シーンの少なくとも一つの画像により、前記自車両の前方の移動ライト領域を検知する移動ライト検知部と、
前記検知された前方の移動ライト領域から一対のライト領域を抽出して、前方車両候補を生成する車両候補生成部と、
前記前方車両候補が所定の車ライト特徴を満たした場合は、前記前方車両候補を前方車両と決定する車両候補検証部と、を備えた前方車両検知装置。
【請求項8】
前記移動ライト検知部は、
前記少なくとも一つの画像中の第1の画像により、前記ライト領域を抽出するライト領域抽出部と、
前記抽出されたライト領域と前記自車両との間の距離を計算する距離計算部と、
前記抽出されたライト領域と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像中のライト領域とのマッチングを行うライト領域マッチング部と、
前記抽出されたライト領域が所定の移動ライト領域特徴を満たした場合は、前記抽出されたライト領域を前方の移動ライト領域と決定する移動ライト決定部と、を含む、請求項7に記載の前方車両検知装置。
【請求項9】
前記車両候補生成部は、
同様の速度を有し且つ対称のライト領域により、前記一対のライト領域を構成する一対ライト抽出部と、
前記一対のライト領域を構成するライト領域を1つの領域に併合し、前方車両候補を取得する一対ライト併合部と、を含む、請求項7に記載の前方車両検知装置。
【請求項10】
前記少なくとも一つの画像における第1の画像により決定された前方車両の位置と一つ前のタイミングで得られた少なくとも一つの画像における第1の画像により決定された前方車両の位置とのマッチングを行い、前方車両の位置追跡を行う位置追跡部をさらに含む、請求項7に記載の前方車両検知装置。
【図1】
【図2】
【図3】
【図4】
【図6】
【図8】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図5】
【図7】
【図9】
【図2】
【図3】
【図4】
【図6】
【図8】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図5】
【図7】
【図9】
【公開番号】特開2013−80460(P2013−80460A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2012−202889(P2012−202889)
【出願日】平成24年9月14日(2012.9.14)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願日】平成24年9月14日(2012.9.14)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]