物体検出装置
【課題】処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供する。
【解決手段】処理部22で車両判定を行った場合に、当該車両の周囲において、カメラ1の処理部12で白線認識を行い、認識した白線の画像特徴量(彩度、色相)を抽出する。さらに、処理部12は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。
【解決手段】処理部22で車両判定を行った場合に、当該車両の周囲において、カメラ1の処理部12で白線認識を行い、認識した白線の画像特徴量(彩度、色相)を抽出する。さらに、処理部12は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両の周囲の障害物等の位置を検出する物体検出装置に関し、特に路面の線模様を検出する物体検出装置に関する。
【背景技術】
【0002】
従来、車両周囲の障害物や路面の白線を検出する装置がある。この装置を用いて障害物や白線を検出し、障害物に接近したときや白線から逸脱しそうになったとき、警報を発すること等が行われている。
【0003】
例えば特許文献1乃至4には、モノクロカメラを用いて白線認識を行う技術が記載されている。特許文献1乃至4に記載されている白線認識の手法は、エッジ検出やハフ変換等、複雑な画像処理を用いて白線を検出するものである。
【0004】
また、特許文献5乃至7には、レーザレーダ装置を用いて白線を検出する手法が提案されている。特許文献5乃至7に記載されているレーザレーダ装置は、レーザ光を路面に向けて走査し、反射波の強度に基づいて白線を検出する。しかし、前方の車両に比較して、白線からの反射波の強度は低く、白線を検出できる限界距離は車両を検出できる限界距離よりも短い。
【0005】
さらに、特許文献8、9および非特許文献1には、カラー画像から白線認識を行う技術が記載されている。特許文献8、9および非特許文献1に記載されている白線認識は、予め白線の色を登録しておき、実際に取得したカラー画像の色と比較して白線部分を抽出するものである。しかし、予め白線の色を登録するためには、白線の色の傾向等を事前に分析しておく必要がある。また、新しい白線と古い白線では、汚れ等により色相が異なる場合がある。
【特許文献1】特開平10−188198号公報
【特許文献2】特開平11−66488号公報
【特許文献3】特開平11−85999号公報
【特許文献4】特開平11−219435号公報
【特許文献5】特開2000−147124号公報
【特許文献6】特開2003−121546号公報
【特許文献7】特開平8−248133号公報
【特許文献8】特許第3120648号公報
【特許文献9】特許第3413745号公報
【非特許文献1】「レーザレーダによる車線認識技術」,小川 高志,高木 聖和,p5−p8,自動車技術会2006年春季大会 学術講演会前刷集No.42−06
【発明の開示】
【発明が解決しようとする課題】
【0006】
この発明は、処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、レーザ光等の電磁波パルスを送信する電磁波パルス送信手段、電磁波パルスを走査する走査手段、走査角度を検出する走査角度検出手段、電磁波パルスの反射波を受信する反射波受信手段、電磁波パルスの送信から受信までの経過時間と電磁波パルス送信時の走査角度に基づいて物体を検出する第1物体検出手段、前方を撮影する撮像手段、撮影した画像の特徴量を算出する特徴量算出手段、算出した特徴量に基づいて物体を検出する第2物体検出手段を備えている。
【0008】
さらに、本発明は、前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第2物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第1線模様位置検出手段と、前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、を備えたことを特徴とする。
【0009】
また、本発明は、前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第1物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第1線模様位置検出手段と、前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、を備えたことを特徴とする。
【0010】
このように、本発明は、第1物体検出手段(例えばレーザレーダ装置)で車両を検出した場合、車両位置の周囲について第2物体検出手段(例えばカメラ)で白線等の線模様を検出する。そして、線模様特徴量算出手段は、検出した白線の画像特徴量(彩度、色相等)を抽出する。さらに、第2線模様位置検出手段は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。レーザレーダ装置で検出した車両周囲のみから白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。
【0011】
また、上記発明において、前記第1線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する構成とすることも可能である。この構成では、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。
【0012】
さらに、上記発明において、前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する構成とすることも可能である。このように、白線の画像特徴量を主要クラスタ(集合)としてクラスタ化(分類)し、当該集合に含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。
【発明の効果】
【0013】
本発明によれば、処理負荷を抑えながら、高精度に線模様を検出することができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態として、カメラおよびレーザレーダ装置からなる物体検出装置について説明する。
【0015】
図1は、物体検出装置を自動車に取り付けた例を示す図である。物体検出装置は、カメラ1およびレーザレーダ装置2からなる。カメラ1とレーザレーダ装置2は、CAN等の通信ケーブル3を介して接続されている。カメラ1は、例えば車室内のバックミラー裏側等に取り付けられ、自車前方を撮影する。レーザレーダ装置2は、車両前方のバンパ等に取り付けられ、自車前方に電磁波パルスとしてレーザ光を照射する。
【0016】
カメラ1の撮影範囲は、レーザレーダ装置2の走査範囲と同一となるように(または走査範囲よりも広くなるように)設置されている。また、カメラ1の設置されている軸(水平方向XC、垂直方向YC、前後方向ZC)とレーザレーダ装置2の設置されている軸(水平方向XL、垂直方向YL、前後方向ZL)は、同一となるように取り付けられている。カメラ1とレーザレーダ装置2の設置されている軸を同一とすることで、レーザ光の走査方向と、カメラ1の撮影方向を同方向とし、レーザ光の走査方向をカメラ1の撮影視野(画像の座標)に変換することが可能となっている。
【0017】
図2は、物体検出装置の構成を示すブロック図である。カメラ1は、通信部11、処理部12、撮像部13、およびレンズ14を備えている。レーザレーダ装置2は、通信部21、処理部22、LD(Laser Diode)23、投光レンズ24、受光レンズ25、PD(Photo Diode)26、走査制御部27、レンズ駆動部28、および走査位置検出部29を備えている。
【0018】
カメラ1の撮像部13は、CCDやCMOS等からなり、処理部12の制御に従って、レンズ14を介して車両前方を撮影し、撮影した画像を処理部12に出力する。
【0019】
処理部12は、撮像部13から入力された画像の解析(画像処理)を行う。また、処理部12は、画像処理の結果を通信部11へ出力する。通信部11は、画像処理の結果をレーザレーダ装置2に出力する。
【0020】
レーザレーダ装置2の処理部22は、LD23の発光を制御する。LD23により発生されたレーザ光は、投光レンズ24を介して車両前方に照射される。照射されたレーザ光が前方の目標(車両や路面)に反射して戻ってきた反射光は、受光レンズ25により集光され、PD26によって受光(受信)される。
【0021】
また、処理部22は、走査制御部27を制御する。走査制御部27は、処理部22の制御に応じてレーザ光を所定の走査範囲で走査させる。すなわち、走査制御部27は、レンズ駆動部28を駆動させ、投光レンズ24および受光レンズ25を一体的に所定の位置に移動させることによりレーザ光を走査させる。なお、図2の例では、水平方向の走査について示しているが、垂直方向についても同様の態様でレーザ光を走査することができる。
【0022】
図3は、レーザ光を走査している様子を示す図である。同図においては、垂直方向に3段階にレーザ光の照射角度を変更する例を示している。図中の破線は路面や車両に投影されているレーザ光の断面計上を示し、1点破線はレーザ光の軌跡を示している。図3に示すように、レーザ光の走査方向と、カメラ1の撮影方向は同方向となっており、レーザ光の走査方向はカメラ1の撮影視野(画像の座標)に変換することが可能となっている。
【0023】
図2において、走査位置検出部29は、走査制御部27におけるレーザ光の水平方向と垂直方向の走査方向(走査角度)をそれぞれ検出して、処理部22に出力する。上述の走査方向から画像座標への変換は、処理部22にて行う。
【0024】
処理部22には、PD26によって受光された反射光の反射強度に対応する信号が入力される。処理部22は、反射強度を数値化して、走査位置検出部29から入力された走査方向に対応してメモリ(不図示)に記憶する。
【0025】
また、処理部22は、LD23を発光させてレーザ光を照射してからその反射光を受光するまでの経過時間に基づいて目標(対象物)と自車との距離を測定する。処理部22は、距離および走査方向が近い対象物をグループ化し、同一の物体とする。処理部22は、反射強度、走査方向、および距離に基づいて、物体の種類が車両(先行車両)であるか否かの判定を行う。先行車両であると判定した場合、当該先行車両の位置(走査方向)は、カメラ1の画像座標に変換され、通信部21を介してカメラ1に送信される。
【0026】
本実施形態の物体検出装置は、処理部22で先行車両を検出した場合に、当該先行車両の周囲において、カメラ1の処理部12で白線認識を行い、認識した白線の画像特徴量(彩度、色相等)を抽出する。さらに、処理部12は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。このようにして検出した白線の位置は、レーザレーダ装置2の処理部22から車両制御部等に出力され、警報を発すること等に用いられる。
【0027】
以下、白線認識の具体的な手法について、図10に示すフローチャートに沿って説明する。図10は、物体検出装置の動作を示すフローチャートである。まず、レーザレーダ装置2の処理部22は、対象物の距離および走査方向における反射強度の分布を作成する(s11)。そして、反射強度から先行車を検出する(s12)。反射強度の分布と先行車の検出について、図4および図5を用いて説明する。
【0028】
図4は、先行車両と路面にレーザ光を走査した場合の発光強度と反射強度の関係を示す図である。レーザ光を先行車両に向けて照射する場合、車両側面から見て、車両前方の水平方向にレーザ光を照射する。この場合、先行車両の反射板にレーザ光が反射する。反射板は、先行車両後方に垂直に取り付けられているため、反射板のどの面にレーザ光を照射しても、レーザレーダ装置2から反射板までの距離は、ほぼ同じである。よって、反射板のどの面でレーザ光が反射しても投光から受光までの時間はほぼ同じとなる。その結果、反射強度は短い時間で急峻なピークを示す。
【0029】
一方で、レーザ光を路面に向けて照射する場合、車両前方の斜め下方向にレーザ光を照射する。この場合、路面の反射する位置により投光から受光までの時間が異なるため、反射強度は、緩やかなピークを示す。
【0030】
また、路面の白線には、ガラス等の反射率の高い物質が含まれているため、白線に照射されたレーザ光は、比較的高い反射強度を示す。一方、白線以外に照射されたレーザ光は比較的低い反射強度を示す。よって、レーザレーダ装置2の処理部22は、急峻で高い反射強度を示す場合、車両であると判定し、緩やかで高い反射強度を示す場合、白線であると判定することができる。
【0031】
図5は、反射強度の分布、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。同図(A)は、所定のしきい値以上の反射強度を示した対象物の距離および走査方向の分布を示す図である。なお、走査方向は正面方向(同図1点破線)からの角度で表される。レーザレーダ装置2の処理部22は、距離および走査方向が近い正面方向の対象物をグループ化し、同一の物体(先行車両)とする。図5(A)の分布をカメラ1で撮影した画像上に投影すると図5(B)のようになる。図10のフローチャートにおいて、処理部22は、グループ化した先行車両の距離および走査方向をカメラ1の画像の座標情報に変換し、カメラ1に送信する(s13)。
【0032】
次に、物体検出装置はカメラ1の処理部12にて画像処理を行う。まず、カメラ1の処理部12は、画像全体でエッジ抽出を行う(s14)。そして、処理部12は、先行車両を検出した画像位置の周囲に、画像処理の範囲を設定する(s15)。
【0033】
図6は、カメラ1の処理部12における画像処理を示した図である。同図(A)に示すように、処理部12は、レーザレーダ装置2の処理部22から送信される計測結果(座標)に基づいておおまかな画像処理の範囲(処理部22から送信された座標情報を含む周辺範囲)を設定する。
【0034】
そして、処理部12は、設定した範囲内で画像のエッジ強度(横エッジ強度および縦エッジ強度)のヒストグラムを算出する(s16)。処理部12は、エッジ強度が高い位置に先行車両が存在すると判断し、図6(B)に示すように、先行車両の正確な存在領域を特定する(s17)。
【0035】
次に、処理部12は、特定した存在領域の周囲(側部および下部)において、図7(A)に示すように、消失点から放射方向にエッジ強度のヒストグラムを算出する(s18)。なお、消失点は、レンズ焦点と撮像面とから予め設定されている。処理部12は、算出したエッジ強度がしきい値以上となる方向を特定する(s19)。処理部12は、エッジ強度がしきい値以上となる方向に白線が存在するとして、図7(B)に示すように、特定した方向に沿って先行車両周辺領域で小矩形領域を設定する(s20)。この小矩形領域内で画像特徴量を算出する。
【0036】
まず、処理部12は、設定した小矩形領域内の各画素のRGB値の平均値を求める(s21)。そして、RGB値平均値をHSV色座標系に変換する処理を行う(s22)。図8を用いてHSV色座標系について説明する。HSV色座標系は色相(H)、彩度(S)、明度(V)の三つの成分からなる色空間である。処理部12は、この色相、彩度を画像特徴量として算出する。処理部12は、図8に示すように、各小矩形領域の色相、彩度の分布を求め、類似する色相、彩度を有するものを白線の色を表す主要クラスタ(集合)としてクラスタ化(分類)する(s23)。なお、処理部12は、明度については考慮せず、汚れ等による白線の明るさの変化の影響を排除する。
【0037】
処理部12は、画像の全画素において上記色相、彩度を算出し、主要クラスタに含まれる色相、彩度を有する位置を検出する(s24)。図9は、全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。同図の斜線部分が主要クラスタ内に含まれる画素を示している。この抽出された画素の位置が白線の位置を示すこととなる。
【0038】
最後に、処理部12は、抽出した画素の位置をメモリ(不図示)に記憶するか、またはレーザレーダ装置2の処理部22に出力する(s25)。レーザレーダ装置2の処理部22に出力された場合、当該白線の位置を示す情報は車両制御部等に出力され、警報を発すること等に用いられる。
【0039】
以上のように、本実施形態の物体検出装置は、レーザレーダ装置で検出した先行車両周囲において白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。また、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。さらに、白線の画像特徴量を主要クラスタとしてクラスタ化し、主要クラスタに含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。
【0040】
なお、図10においてs13〜s20で行った処理は、以下の様な例の処理に置き換えることも可能である。図11は、他の例におけるグループ化処理を行った図、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。図12は、物体検出装置の他の例における動作を示すフローチャートである。なお、図12に示すフローチャートにおいて、図10と共通する処理については同一の符号を付し、その説明を省略する。
【0041】
この例においては、レーザレーダ装置2の処理部22において、先行車両を検出した後、当該車両位置の近傍に白線の特徴を示すデータが有るか否かを判断する(s31)。すなわち、図4に示したように、処理部22は、緩やかで高い反射強度を示すものが有るか否かを判断する。車両位置の近傍に白線示す反射強度が無ければ、動作を終了する(次の計測まで待機する)。車両位置の近傍に白線示す反射強度が有る場合、当該白線の距離、走査方向を画像座標に変換し、カメラ1の処理部12に送信する(s32)。そして、処理部12では、白線の領域内で小矩形領域を設定する(s33)。その後は、上述のように、小矩形領域内の各画素のRGB値の平均値を求め、HSV色座標系に変換し、全画素にて白線の認識を行う。
【0042】
図11および図12に示した例では、レーザレーダ装置2により車両位置の近傍の白線を検出するため、さらに処理負荷を抑えることができる。
【0043】
なお、本発明で検出する線模様は、本実施形態のように白線に限らず、黄色線、中央分離帯、道路と路側の境界線等、線模様であればどのようなものであってもよい。
【図面の簡単な説明】
【0044】
【図1】物体検出装置を自動車に取り付けた例を示す図である。
【図2】カメラおよびレーザレーダ装置の構成を示すブロック図である。
【図3】レーザ光を走査している様子を示す図である。
【図4】先行車両と路面にレーザ光を走査した場合の発光強度と受光強度の関係を示す図である。
【図5】反射強度の分布、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。
【図6】カメラ1の処理部12における画像処理を示した図である。
【図7】先行車両周辺で画像処理をすることを示した図である。
【図8】RGBをHSVに変換し、主要クラスタとして集合化したことを示す図である。
【図9】全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。
【図10】物体検出装置の動作を示すフローチャートである。
【図11】他の例におけるグループ化処理を行った図、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。
【図12】物体検出装置の他の例における動作を示すフローチャートである。
【技術分野】
【0001】
この発明は、車両の周囲の障害物等の位置を検出する物体検出装置に関し、特に路面の線模様を検出する物体検出装置に関する。
【背景技術】
【0002】
従来、車両周囲の障害物や路面の白線を検出する装置がある。この装置を用いて障害物や白線を検出し、障害物に接近したときや白線から逸脱しそうになったとき、警報を発すること等が行われている。
【0003】
例えば特許文献1乃至4には、モノクロカメラを用いて白線認識を行う技術が記載されている。特許文献1乃至4に記載されている白線認識の手法は、エッジ検出やハフ変換等、複雑な画像処理を用いて白線を検出するものである。
【0004】
また、特許文献5乃至7には、レーザレーダ装置を用いて白線を検出する手法が提案されている。特許文献5乃至7に記載されているレーザレーダ装置は、レーザ光を路面に向けて走査し、反射波の強度に基づいて白線を検出する。しかし、前方の車両に比較して、白線からの反射波の強度は低く、白線を検出できる限界距離は車両を検出できる限界距離よりも短い。
【0005】
さらに、特許文献8、9および非特許文献1には、カラー画像から白線認識を行う技術が記載されている。特許文献8、9および非特許文献1に記載されている白線認識は、予め白線の色を登録しておき、実際に取得したカラー画像の色と比較して白線部分を抽出するものである。しかし、予め白線の色を登録するためには、白線の色の傾向等を事前に分析しておく必要がある。また、新しい白線と古い白線では、汚れ等により色相が異なる場合がある。
【特許文献1】特開平10−188198号公報
【特許文献2】特開平11−66488号公報
【特許文献3】特開平11−85999号公報
【特許文献4】特開平11−219435号公報
【特許文献5】特開2000−147124号公報
【特許文献6】特開2003−121546号公報
【特許文献7】特開平8−248133号公報
【特許文献8】特許第3120648号公報
【特許文献9】特許第3413745号公報
【非特許文献1】「レーザレーダによる車線認識技術」,小川 高志,高木 聖和,p5−p8,自動車技術会2006年春季大会 学術講演会前刷集No.42−06
【発明の開示】
【発明が解決しようとする課題】
【0006】
この発明は、処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、レーザ光等の電磁波パルスを送信する電磁波パルス送信手段、電磁波パルスを走査する走査手段、走査角度を検出する走査角度検出手段、電磁波パルスの反射波を受信する反射波受信手段、電磁波パルスの送信から受信までの経過時間と電磁波パルス送信時の走査角度に基づいて物体を検出する第1物体検出手段、前方を撮影する撮像手段、撮影した画像の特徴量を算出する特徴量算出手段、算出した特徴量に基づいて物体を検出する第2物体検出手段を備えている。
【0008】
さらに、本発明は、前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第2物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第1線模様位置検出手段と、前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、を備えたことを特徴とする。
【0009】
また、本発明は、前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第1物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第1線模様位置検出手段と、前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した特徴量に一致する特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、を備えたことを特徴とする。
【0010】
このように、本発明は、第1物体検出手段(例えばレーザレーダ装置)で車両を検出した場合、車両位置の周囲について第2物体検出手段(例えばカメラ)で白線等の線模様を検出する。そして、線模様特徴量算出手段は、検出した白線の画像特徴量(彩度、色相等)を抽出する。さらに、第2線模様位置検出手段は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。レーザレーダ装置で検出した車両周囲のみから白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。
【0011】
また、上記発明において、前記第1線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する構成とすることも可能である。この構成では、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。
【0012】
さらに、上記発明において、前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する構成とすることも可能である。このように、白線の画像特徴量を主要クラスタ(集合)としてクラスタ化(分類)し、当該集合に含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。
【発明の効果】
【0013】
本発明によれば、処理負荷を抑えながら、高精度に線模様を検出することができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態として、カメラおよびレーザレーダ装置からなる物体検出装置について説明する。
【0015】
図1は、物体検出装置を自動車に取り付けた例を示す図である。物体検出装置は、カメラ1およびレーザレーダ装置2からなる。カメラ1とレーザレーダ装置2は、CAN等の通信ケーブル3を介して接続されている。カメラ1は、例えば車室内のバックミラー裏側等に取り付けられ、自車前方を撮影する。レーザレーダ装置2は、車両前方のバンパ等に取り付けられ、自車前方に電磁波パルスとしてレーザ光を照射する。
【0016】
カメラ1の撮影範囲は、レーザレーダ装置2の走査範囲と同一となるように(または走査範囲よりも広くなるように)設置されている。また、カメラ1の設置されている軸(水平方向XC、垂直方向YC、前後方向ZC)とレーザレーダ装置2の設置されている軸(水平方向XL、垂直方向YL、前後方向ZL)は、同一となるように取り付けられている。カメラ1とレーザレーダ装置2の設置されている軸を同一とすることで、レーザ光の走査方向と、カメラ1の撮影方向を同方向とし、レーザ光の走査方向をカメラ1の撮影視野(画像の座標)に変換することが可能となっている。
【0017】
図2は、物体検出装置の構成を示すブロック図である。カメラ1は、通信部11、処理部12、撮像部13、およびレンズ14を備えている。レーザレーダ装置2は、通信部21、処理部22、LD(Laser Diode)23、投光レンズ24、受光レンズ25、PD(Photo Diode)26、走査制御部27、レンズ駆動部28、および走査位置検出部29を備えている。
【0018】
カメラ1の撮像部13は、CCDやCMOS等からなり、処理部12の制御に従って、レンズ14を介して車両前方を撮影し、撮影した画像を処理部12に出力する。
【0019】
処理部12は、撮像部13から入力された画像の解析(画像処理)を行う。また、処理部12は、画像処理の結果を通信部11へ出力する。通信部11は、画像処理の結果をレーザレーダ装置2に出力する。
【0020】
レーザレーダ装置2の処理部22は、LD23の発光を制御する。LD23により発生されたレーザ光は、投光レンズ24を介して車両前方に照射される。照射されたレーザ光が前方の目標(車両や路面)に反射して戻ってきた反射光は、受光レンズ25により集光され、PD26によって受光(受信)される。
【0021】
また、処理部22は、走査制御部27を制御する。走査制御部27は、処理部22の制御に応じてレーザ光を所定の走査範囲で走査させる。すなわち、走査制御部27は、レンズ駆動部28を駆動させ、投光レンズ24および受光レンズ25を一体的に所定の位置に移動させることによりレーザ光を走査させる。なお、図2の例では、水平方向の走査について示しているが、垂直方向についても同様の態様でレーザ光を走査することができる。
【0022】
図3は、レーザ光を走査している様子を示す図である。同図においては、垂直方向に3段階にレーザ光の照射角度を変更する例を示している。図中の破線は路面や車両に投影されているレーザ光の断面計上を示し、1点破線はレーザ光の軌跡を示している。図3に示すように、レーザ光の走査方向と、カメラ1の撮影方向は同方向となっており、レーザ光の走査方向はカメラ1の撮影視野(画像の座標)に変換することが可能となっている。
【0023】
図2において、走査位置検出部29は、走査制御部27におけるレーザ光の水平方向と垂直方向の走査方向(走査角度)をそれぞれ検出して、処理部22に出力する。上述の走査方向から画像座標への変換は、処理部22にて行う。
【0024】
処理部22には、PD26によって受光された反射光の反射強度に対応する信号が入力される。処理部22は、反射強度を数値化して、走査位置検出部29から入力された走査方向に対応してメモリ(不図示)に記憶する。
【0025】
また、処理部22は、LD23を発光させてレーザ光を照射してからその反射光を受光するまでの経過時間に基づいて目標(対象物)と自車との距離を測定する。処理部22は、距離および走査方向が近い対象物をグループ化し、同一の物体とする。処理部22は、反射強度、走査方向、および距離に基づいて、物体の種類が車両(先行車両)であるか否かの判定を行う。先行車両であると判定した場合、当該先行車両の位置(走査方向)は、カメラ1の画像座標に変換され、通信部21を介してカメラ1に送信される。
【0026】
本実施形態の物体検出装置は、処理部22で先行車両を検出した場合に、当該先行車両の周囲において、カメラ1の処理部12で白線認識を行い、認識した白線の画像特徴量(彩度、色相等)を抽出する。さらに、処理部12は、画像全体において、車両周囲で抽出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを検出する。このようにして検出した白線の位置は、レーザレーダ装置2の処理部22から車両制御部等に出力され、警報を発すること等に用いられる。
【0027】
以下、白線認識の具体的な手法について、図10に示すフローチャートに沿って説明する。図10は、物体検出装置の動作を示すフローチャートである。まず、レーザレーダ装置2の処理部22は、対象物の距離および走査方向における反射強度の分布を作成する(s11)。そして、反射強度から先行車を検出する(s12)。反射強度の分布と先行車の検出について、図4および図5を用いて説明する。
【0028】
図4は、先行車両と路面にレーザ光を走査した場合の発光強度と反射強度の関係を示す図である。レーザ光を先行車両に向けて照射する場合、車両側面から見て、車両前方の水平方向にレーザ光を照射する。この場合、先行車両の反射板にレーザ光が反射する。反射板は、先行車両後方に垂直に取り付けられているため、反射板のどの面にレーザ光を照射しても、レーザレーダ装置2から反射板までの距離は、ほぼ同じである。よって、反射板のどの面でレーザ光が反射しても投光から受光までの時間はほぼ同じとなる。その結果、反射強度は短い時間で急峻なピークを示す。
【0029】
一方で、レーザ光を路面に向けて照射する場合、車両前方の斜め下方向にレーザ光を照射する。この場合、路面の反射する位置により投光から受光までの時間が異なるため、反射強度は、緩やかなピークを示す。
【0030】
また、路面の白線には、ガラス等の反射率の高い物質が含まれているため、白線に照射されたレーザ光は、比較的高い反射強度を示す。一方、白線以外に照射されたレーザ光は比較的低い反射強度を示す。よって、レーザレーダ装置2の処理部22は、急峻で高い反射強度を示す場合、車両であると判定し、緩やかで高い反射強度を示す場合、白線であると判定することができる。
【0031】
図5は、反射強度の分布、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。同図(A)は、所定のしきい値以上の反射強度を示した対象物の距離および走査方向の分布を示す図である。なお、走査方向は正面方向(同図1点破線)からの角度で表される。レーザレーダ装置2の処理部22は、距離および走査方向が近い正面方向の対象物をグループ化し、同一の物体(先行車両)とする。図5(A)の分布をカメラ1で撮影した画像上に投影すると図5(B)のようになる。図10のフローチャートにおいて、処理部22は、グループ化した先行車両の距離および走査方向をカメラ1の画像の座標情報に変換し、カメラ1に送信する(s13)。
【0032】
次に、物体検出装置はカメラ1の処理部12にて画像処理を行う。まず、カメラ1の処理部12は、画像全体でエッジ抽出を行う(s14)。そして、処理部12は、先行車両を検出した画像位置の周囲に、画像処理の範囲を設定する(s15)。
【0033】
図6は、カメラ1の処理部12における画像処理を示した図である。同図(A)に示すように、処理部12は、レーザレーダ装置2の処理部22から送信される計測結果(座標)に基づいておおまかな画像処理の範囲(処理部22から送信された座標情報を含む周辺範囲)を設定する。
【0034】
そして、処理部12は、設定した範囲内で画像のエッジ強度(横エッジ強度および縦エッジ強度)のヒストグラムを算出する(s16)。処理部12は、エッジ強度が高い位置に先行車両が存在すると判断し、図6(B)に示すように、先行車両の正確な存在領域を特定する(s17)。
【0035】
次に、処理部12は、特定した存在領域の周囲(側部および下部)において、図7(A)に示すように、消失点から放射方向にエッジ強度のヒストグラムを算出する(s18)。なお、消失点は、レンズ焦点と撮像面とから予め設定されている。処理部12は、算出したエッジ強度がしきい値以上となる方向を特定する(s19)。処理部12は、エッジ強度がしきい値以上となる方向に白線が存在するとして、図7(B)に示すように、特定した方向に沿って先行車両周辺領域で小矩形領域を設定する(s20)。この小矩形領域内で画像特徴量を算出する。
【0036】
まず、処理部12は、設定した小矩形領域内の各画素のRGB値の平均値を求める(s21)。そして、RGB値平均値をHSV色座標系に変換する処理を行う(s22)。図8を用いてHSV色座標系について説明する。HSV色座標系は色相(H)、彩度(S)、明度(V)の三つの成分からなる色空間である。処理部12は、この色相、彩度を画像特徴量として算出する。処理部12は、図8に示すように、各小矩形領域の色相、彩度の分布を求め、類似する色相、彩度を有するものを白線の色を表す主要クラスタ(集合)としてクラスタ化(分類)する(s23)。なお、処理部12は、明度については考慮せず、汚れ等による白線の明るさの変化の影響を排除する。
【0037】
処理部12は、画像の全画素において上記色相、彩度を算出し、主要クラスタに含まれる色相、彩度を有する位置を検出する(s24)。図9は、全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。同図の斜線部分が主要クラスタ内に含まれる画素を示している。この抽出された画素の位置が白線の位置を示すこととなる。
【0038】
最後に、処理部12は、抽出した画素の位置をメモリ(不図示)に記憶するか、またはレーザレーダ装置2の処理部22に出力する(s25)。レーザレーダ装置2の処理部22に出力された場合、当該白線の位置を示す情報は車両制御部等に出力され、警報を発すること等に用いられる。
【0039】
以上のように、本実施形態の物体検出装置は、レーザレーダ装置で検出した先行車両周囲において白線の画像特徴量を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。また、エッジ強度のヒストグラムから白線の位置を検出する手法であるため、複雑な画像処理を行う必要がない。さらに、白線の画像特徴量を主要クラスタとしてクラスタ化し、主要クラスタに含まれる画像特徴量を有する位置を白線と認識することにより、汚れ等の多少の色変化があったとしても白線として高精度に認識することができる。
【0040】
なお、図10においてs13〜s20で行った処理は、以下の様な例の処理に置き換えることも可能である。図11は、他の例におけるグループ化処理を行った図、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。図12は、物体検出装置の他の例における動作を示すフローチャートである。なお、図12に示すフローチャートにおいて、図10と共通する処理については同一の符号を付し、その説明を省略する。
【0041】
この例においては、レーザレーダ装置2の処理部22において、先行車両を検出した後、当該車両位置の近傍に白線の特徴を示すデータが有るか否かを判断する(s31)。すなわち、図4に示したように、処理部22は、緩やかで高い反射強度を示すものが有るか否かを判断する。車両位置の近傍に白線示す反射強度が無ければ、動作を終了する(次の計測まで待機する)。車両位置の近傍に白線示す反射強度が有る場合、当該白線の距離、走査方向を画像座標に変換し、カメラ1の処理部12に送信する(s32)。そして、処理部12では、白線の領域内で小矩形領域を設定する(s33)。その後は、上述のように、小矩形領域内の各画素のRGB値の平均値を求め、HSV色座標系に変換し、全画素にて白線の認識を行う。
【0042】
図11および図12に示した例では、レーザレーダ装置2により車両位置の近傍の白線を検出するため、さらに処理負荷を抑えることができる。
【0043】
なお、本発明で検出する線模様は、本実施形態のように白線に限らず、黄色線、中央分離帯、道路と路側の境界線等、線模様であればどのようなものであってもよい。
【図面の簡単な説明】
【0044】
【図1】物体検出装置を自動車に取り付けた例を示す図である。
【図2】カメラおよびレーザレーダ装置の構成を示すブロック図である。
【図3】レーザ光を走査している様子を示す図である。
【図4】先行車両と路面にレーザ光を走査した場合の発光強度と受光強度の関係を示す図である。
【図5】反射強度の分布、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。
【図6】カメラ1の処理部12における画像処理を示した図である。
【図7】先行車両周辺で画像処理をすることを示した図である。
【図8】RGBをHSVに変換し、主要クラスタとして集合化したことを示す図である。
【図9】全画素において、主要クラスタ内に含まれる画素だけを抽出した事を示す図である。
【図10】物体検出装置の動作を示すフローチャートである。
【図11】他の例におけるグループ化処理を行った図、およびレーザレーダ装置2の処理部22で検出した位置を画像上に投影した図である。
【図12】物体検出装置の他の例における動作を示すフローチャートである。
【特許請求の範囲】
【請求項1】
前方に電磁波パルスを送信する電磁波パルス送信手段と、
前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
前記走査手段の走査角度を検出する走査角度検出手段と、
前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第1物体検出手段と、
前記前方を撮影し、画像を出力する撮像手段と、
前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第2物体検出手段と、を備えた物体検出装置において、
前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第2物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
検出した前記線模様の位置を検出する第1線模様位置検出手段と、
前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、
を備えた物体検出装置。
【請求項2】
前方に電磁波パルスを送信する電磁波パルス送信手段と、
前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
前記走査手段の走査角度を検出する走査角度検出手段と、
前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第1物体検出手段と、
前記前方を撮影し、画像を出力する撮像手段と、
前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第2物体検出手段と、を備えた物体検出装置において、
前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第1物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
検出した前記線模様の位置を検出する第1線模様位置検出手段と、
前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、
を備えた物体検出装置。
【請求項3】
前記第1線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する請求項1に記載の物体検出装置。
【請求項4】
前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項1、または請求項3に記載の物体検出装置。
【請求項5】
前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項2に記載の物体検出装置。
【請求項1】
前方に電磁波パルスを送信する電磁波パルス送信手段と、
前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
前記走査手段の走査角度を検出する走査角度検出手段と、
前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第1物体検出手段と、
前記前方を撮影し、画像を出力する撮像手段と、
前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第2物体検出手段と、を備えた物体検出装置において、
前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第2物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
検出した前記線模様の位置を検出する第1線模様位置検出手段と、
前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、
を備えた物体検出装置。
【請求項2】
前方に電磁波パルスを送信する電磁波パルス送信手段と、
前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
前記走査手段の走査角度を検出する走査角度検出手段と、
前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第1物体検出手段と、
前記前方を撮影し、画像を出力する撮像手段と、
前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第2物体検出手段と、を備えた物体検出装置において、
前記第1物体検出手段が車両を検出した場合に、検出した車両の周囲に前記第1物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
検出した前記線模様の位置を検出する第1線模様位置検出手段と、
前記第1線模様位置検出手段が検出した位置において前記画像特徴量を抽出する線模様特徴量算出手段と、
前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として検出する第2線模様位置検出手段と、
を備えた物体検出装置。
【請求項3】
前記第1線模様位置検出手段は、前記撮像手段が出力した画像の消失点から放射方向のエッジ強度のヒストグラムを算出することにより、前記線模様の位置を検出する請求項1に記載の物体検出装置。
【請求項4】
前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項1、または請求項3に記載の物体検出装置。
【請求項5】
前記第2線模様位置検出手段は、類似する画像特徴量を有する位置を集合として分類し、当該集合に含まれる画像特徴量を有する前記画像の位置を線模様として検出する請求項2に記載の物体検出装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−60371(P2010−60371A)
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願番号】特願2008−224795(P2008−224795)
【出願日】平成20年9月2日(2008.9.2)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願日】平成20年9月2日(2008.9.2)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】
[ Back to top ]