物体検出装置

【課題】処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供する。
【解決手段】処理部１２は、処理部２２で白線を検出した場合に、当該白線の画像特徴量（彩度、色相）を算出する。さらに、処理部１２は、画像全体において、算出した白線の画像特徴量に一致する画像特徴量を有する位置を検出する。そして、レーザレーダ装置２の処理部２２で検出した白線の位置における画像とカメラで抽出した遠方の白線の画像とを合成する。

【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周囲の障害物等の位置を検出する物体検出装置に関し、特に路面の線模様を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、車両周囲の障害物や路面の白線を検出する装置がある。この装置を用いて障害物や白線を検出し、障害物に接近したときや白線から逸脱しそうになったとき、警報を発すること等が行われている。
【０００３】
例えば特許文献１乃至４には、モノクロカメラを用いて白線認識を行う技術が記載されている。特許文献１乃至４に記載されている白線認識の手法は、エッジ検出やハフ変換等、複雑な画像処理を用いて白線を検出するものである。
【０００４】
また、特許文献５乃至７には、レーザレーダ装置を用いて白線を検出する手法が提案されている。特許文献５乃至７に記載されているレーザレーダ装置は、レーザ光を路面に向けて走査し、反射波の強度に基づいて白線を検出する。しかし、前方の車両に比較して、白線からの反射波の強度は低く、白線を検出できる限界距離は車両を検出できる限界距離よりも短い。
【０００５】
さらに、特許文献８、９および非特許文献１には、カラー画像から白線認識を行う技術が記載されている。特許文献８、９および非特許文献１に記載されている白線認識は、予め白線の色を登録しておき、実際に取得したカラー画像の色と比較して白線部分を抽出するものである。しかし、予め白線の色を登録するためには、白線の色の傾向等を事前に分析しておく必要がある。また、新しい白線と古い白線では、汚れ等により色相が異なる場合がある。
【特許文献１】特開平１０−１８８１９８号公報
【特許文献２】特開平１１−６６４８８号公報
【特許文献３】特開平１１−８５９９９号公報
【特許文献４】特開平１１−２１９４３５号公報
【特許文献５】特開２０００−１４７１２４号公報
【特許文献６】特開２００３−１２１５４６号公報
【特許文献７】特開平８−２４８１３３号公報
【特許文献８】特許第３１２０６４８号公報
【特許文献９】特許第３４１３７４５号公報
【非特許文献１】「レーザレーダによる車線認識技術」，小川高志，高木聖和，ｐ５−ｐ８，自動車技術会2006年春季大会学術講演会前刷集Ｎｏ．４２−０６
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、処理負荷を抑えながら、高精度に線模様を検出する物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、レーザ光等の電磁波パルスを送信する電磁波パルス送信手段、電磁波パルスを走査する走査手段、走査角度を検出する走査角度検出手段、電磁波パルスの反射波を受信する反射波受信手段、電磁波パルスの送信から受信までの経過時間と電磁波パルス送信時の走査角度に基づいて物体を検出する第１物体検出手段、前方を撮影する撮像手段、撮影した画像の画像特徴量を算出する特徴量算出手段、算出した特徴量に基づいて物体を検出する第２物体検出手段を備えている。
【０００８】
さらに、本発明は、前記第１物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、検出した前記線模様の位置を検出する第１線模様位置検出手段と、前記第１線模様位置検出手段が検出した位置において前記画像特徴量を算出する線模様特徴量算出手段と、前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として抽出する第２線模様位置検出手段と、前記第１線模様位置検出手段が検出した線模様の位置における線模様と、前記第２線模様位置検出手段が抽出した線模様のうち、前記第１線模様位置検出手段が検出した位置より遠方の線模様とを合成する線模様合成手段と、を備えたことを特徴とする。
【０００９】
このように、本発明は、第１物体検出手段（例えばレーザレーダ装置）で白線等の線模様を検出した場合、線模様特徴量算出手段（例えばカメラ）で、その位置において白線の画像特徴量（彩度、色相等）を算出する。さらに、第２線模様位置検出手段は、画像全体において、算出した白線の画像特徴量に一致する画像特徴量を有する位置を検出することにより、画像内のどの位置に白線が有るかを抽出する。そして、レーザレーダ装置で検出した白線の位置における画像とカメラで抽出した遠方の白線の画像とを合成する。まずレーザレーダ装置で検出した白線の位置において画像特徴量を算出し、その後に画像全体において白線の画像を抽出する構成であるため、処理負荷を抑えながらも高精度に線模様を検出することができる。
【００１０】
また、上記発明において、前記線模様合成手段は、前記第１線模様位置検出手段が検出した線模様の位置に対し、前記画像内において予め設定した車線幅に相当する距離だけ離れた位置の周囲で前記第２線模様位置検出手段が線模様として抽出した前記画像の位置を、前記第１線模様位置検出手段が検出した線模様の位置として扱うように構成することも可能である。
【００１１】
この場合、レーザレーダ装置で検出した白線の位置が１箇所であっても自車を挟んだ２本の白線の位置を検出することができる。
【発明の効果】
【００１２】
本発明によれば、処理負荷を抑えながら、高精度に線模様を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態として、カメラおよびレーザレーダ装置からなる物体検出装置について説明する。
【００１４】
図１は、物体検出装置を自動車に取り付けた例を示す図である。物体検出装置は、カメラ１およびレーザレーダ装置２からなる。カメラ１とレーザレーダ装置２は、ＣＡＮ等の通信ケーブル３を介して接続されている。カメラ１は、例えば車室内のバックミラー裏側等に取り付けられ、自車前方を撮影する。レーザレーダ装置２は、車両前方のバンパ等に取り付けられ、自車前方に電磁波パルスとしてレーザ光を照射する。
【００１５】
カメラ１の撮影範囲は、レーザレーダ装置２の走査範囲と同一となるように（または走査範囲よりも広くなるように）設置されている。また、カメラ１の設置されている軸（水平方向ＸＣ、垂直方向ＹＣ、前後方向ＺＣ）とレーザレーダ装置２の設置されている軸（水平方向ＸＬ、垂直方向ＹＬ、前後方向ＺＬ）は、同一となるように取り付けられている。カメラ１とレーザレーダ装置２の設置されている軸を同一とすることで、レーザ光の走査方向と、カメラ１の撮影方向を同方向とし、レーザ光の走査方向をカメラ１の撮影視野（画像の座標）に変換することが可能となっている。
【００１６】
図２は、物体検出装置の構成を示すブロック図である。カメラ１は、通信部１１、処理部１２、撮像部１３、およびレンズ１４を備えている。レーザレーダ装置２は、通信部２１、処理部２２、ＬＤ（ＬａｓｅｒＤｉｏｄｅ）２３、投光レンズ２４、受光レンズ２５、ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）２６、走査制御部２７、レンズ駆動部２８、および走査位置検出部２９を備えている。
【００１７】
カメラ１の撮像部１３は、ＣＣＤやＣＭＯＳ等からなり、処理部１２の制御に従って、レンズ１４を介して車両前方を撮影し、撮影した画像を処理部１２に出力する。
【００１８】
処理部１２は、撮像部１３から入力された画像の解析（画像処理）を行う。また、処理部１２は、画像処理の結果を通信部１１へ出力する。通信部１１は、画像処理の結果をレーザレーダ装置２に出力する。
【００１９】
レーザレーダ装置２の処理部２２は、ＬＤ２３の発光を制御する。ＬＤ２３により発生されたレーザ光は、投光レンズ２４を介して車両前方に照射される。照射されたレーザ光が前方の目標（車両や路面）に反射して戻ってきた反射光は、受光レンズ２５により集光され、ＰＤ２６によって受光（受信）される。
【００２０】
また、処理部２２は、走査制御部２７を制御する。走査制御部２７は、処理部２２の制御に応じてレーザ光を所定の走査範囲で走査させる。すなわち、走査制御部２７は、レンズ駆動部２８を駆動させ、投光レンズ２４および受光レンズ２５を一体的に所定の位置に移動させることによりレーザ光を走査させる。なお、図２の例では、水平方向の走査について示しているが、垂直方向についても同様の態様でレーザ光を走査することができる。
【００２１】
図３は、レーザ光を走査している様子を示す図である。同図においては、垂直方向に３段階にレーザ光の照射角度を変更する例を示している。図中の破線は路面や車両に投影されているレーザ光の断面形状を示し、１点破線はレーザ光の軌跡を示している。図３に示すように、レーザ光の走査方向と、カメラ１の撮影方向は同方向となっており、レーザ光の走査方向はカメラ１の撮影視野（画像の座標）に変換することが可能となっている。
【００２２】
図２において、走査位置検出部２９は、走査制御部２７におけるレーザ光の水平方向と垂直方向の走査方向（走査角度）をそれぞれ検出して、処理部２２に出力する。上述の走査方向から画像座標への変換は、処理部２２にて行う。
【００２３】
処理部２２には、ＰＤ２６によって受光された反射光の反射強度に対応する信号が入力される。処理部２２は、反射強度を数値化して、走査位置検出部２９から入力された走査方向に対応してメモリ（不図示）に記憶する。
【００２４】
また、処理部２２は、ＬＤ２３を発光させてレーザ光を照射してからその反射光を受光するまでの経過時間に基づいて目標（対象物）と自車との距離を測定する。処理部２２は、反射強度の特徴から、物体の種類を特定する。本実施形態では、対象物が白線であるか否かの判定を行う。白線であると判定した場合、当該白線の位置（距離および走査方向）は、カメラ１の画像座標に変換され、通信部２１を介してカメラ１に送信される。
【００２５】
本実施形態の物体検出装置は、レーザレーダ装置２で検出した白線の位置における画像特徴量（彩度、色相等）を算出する。さらに、処理部１２は、画像全体において、算出した白線の画像特徴量に一致する画像特徴量を有する位置を抽出する。そして、レーザレーダ装置２で検出した自車付近の白線画像と、遠方の白線画像とを合成し、画像内での白線の位置を検出する。このようにして検出した白線の位置は、レーザレーダ装置２の処理部２２から車両制御部等に出力され、警報を発すること等に用いられる。
【００２６】
以下、白線認識の具体的な手法について、図１２に示すフローチャートに沿って説明する。図１２は、物体検出装置の動作を示すフローチャートである。まず、レーザレーダ装置２の処理部２２は、受光強度の特徴から白線を検出する（ｓ１１）。
【００２７】
図４を用いて反射強度の特徴から白線を検出する手法について説明する。図４（Ａ）は、先行車両と路面にレーザ光を走査した場合の発光強度と反射強度の関係を示す図である。図４（Ｂ）は、受光強度の特徴を示す図である。
【００２８】
レーザ光を先行車両に向けて照射する場合、車両側面から見て、車両前方の水平方向にレーザ光を照射する。この場合、先行車両の反射板にレーザ光が反射する。反射板は、先行車両後方に垂直に取り付けられているため、反射板のどの面にレーザ光を照射しても、レーザレーダ装置２から反射板までの距離は、ほぼ同じである。よって、反射板のどの面でレーザ光が反射しても投光から受光までの時間はほぼ同じとなる。その結果、反射強度は短い時間で急峻なピークを示す。
【００２９】
一方で、レーザ光を路面に向けて照射する場合、車両前方の斜め下方向にレーザ光を照射する。この場合、路面の反射する位置により投光から受光までの時間が異なるため、反射強度は、緩やかなピークを示す。また、路面の白線には、ガラス等の反射率の高い物質が含まれているため、白線に照射されたレーザ光は、比較的高い反射強度を示す。よって、レーザレーダ装置２の処理部２２は、同図（Ｂ）に示すピークの受光強度Ｉｒとパルス幅（半値幅）Ｗｒとの値から白線を検出することができる。すなわち、処理部２２は、受光強度Ｉｒが所定のしきい値以上であり、かつパルス幅Ｗｒ所定のしきい値以上である場合に白線であると判定する。なお、自車と白線との距離Ｄｐは、投光からピーク検出までの経過時間によって表される。
【００３０】
次に、図１２のフローチャートにおいて、白線を検出した後、処理部２２は、白線の距離および走査方向をカメラ１の画像の座標情報に変換し、カメラ１に送信する（ｓ１２）。レーザレーダ装置２の処理部２２で検出した白線の位置を画像上に投影すると、図５（Ａ）のようになる。同図（Ａ）の破線がレーザレーダ装置２の処理部２２で検出した白線の位置を示す。この例では、自車前方の路面左側に実線、前方中心付近に矢印線、前方右側に破線が存在する場合を示し、それぞれの白線の一部をレーザレーダ装置２で検出した様子を示している。カメラ１の処理部１２は、レーザレーダ装置２の処理部２２で検出した白線の位置に同図（Ｂ）に示すような矩形領域を設定する（ｓ１３）。矩形領域の大きさは、処理部１２の処理能力と必要とする処理時間に応じて適宜設定すればよい。処理部１２は、設定した矩形領域内で画像特徴量の算出を行う。
【００３１】
まず、処理部１２は、設定した矩形領域内の各画素のＲＧＢ値の平均値を求める（ｓ１４）。そして、ＲＧＢ値平均値をＨＳＶ色座標系に変換する処理を行う（ｓ１５）。図６を用いてＨＳＶ色座標系について説明する。ＨＳＶ色座標系は色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の三つの成分からなる色空間である。処理部１２は、この色相、彩度を画像特徴量として算出する。処理部１２は、図６に示すように、各矩形領域の色相、彩度の分布を求め、類似する色相、彩度を有するものを白線の色を表す主要クラスタ（集合）としてクラスタ化（分類）する（ｓ１６）。なお、処理部１２は、明度については考慮せず、汚れ等による白線の明るさの変化の影響を排除する。
【００３２】
その後、処理部１２は、画像の全画素において上記色相、彩度を算出し、主要クラスタに含まれる色相、彩度を有する位置を抽出する（ｓ１７）。図７は、全画素において、主要クラスタ内に含まれる画素だけを抽出したことを示す図である。同図の斜線部分が主要クラスタ内に含まれる画素を示している。
【００３３】
その後、処理部１２は、レーザレーダ装置２で検出した複数の白線位置のうちいずれか１つに対し、水平線と結ぶ直線をＮ本設定する（ｓ１８）。図８を用いて直線設定について説明する。図８に示すように、処理部１２は、レーザレーダ装置２で検出した白線の位置のうち、いずれか１箇所を位置Ａとして設定する。この位置Ａから、予め設定した水平線（例えば消失点を通る水平線）に対し、複数の直線１〜Ｎを設定する。直線の数は、処理部１２の画像処理の能力と必要とする処理時間に応じて適宜設定する。処理部１２は、設定した各直線において、白線の主要クラスタ内に含まれる画素数を算出し、度数分布（ヒストグラム）を作成する（ｓ１９）。
【００３４】
図９（Ａ）は、各直線の度数分布を示す図である。同図（Ａ）に示すグラフの横軸は各直線１〜Ｎを示し、縦軸は主要クラスタ内に含まれる画素数（度数）を示す。処理部１２は、これらの直線から最も度数の多い（度数のピークを有する）直線Ｋを特定する（ｓ２０）。図９（Ｂ）は、特定した直線Ｋを画像上に表した図である。
【００３５】
処理部１２は、以上のような直線の設定と度数分布の算出、度数のピークを有する直線の特定処理を複数回（例えば設定した矩形領域の数だけ）繰り返し（ｓ２１）、複数の直線を特定する（ｓ２２）。
【００３６】
図１０（Ａ）に、３本の直線を特定した例を示す。同図（Ａ）では、前方左側の実線、自車前方の矢印線、前方右側の破線に対して、それぞれ直線Ａ，Ｂ，Ｃを特定した場合の例を示す。処理部１２は、特定した３本の直線において、それぞれの度数を比較する。図１０（Ｂ）は、各直線の度数を比較した図である。処理部１２は、これらの直線から、最も度数が多い２本の直線を選択する（ｓ２３）。
【００３７】
図１１に選択した２本の直線を画像内に表した図を示す。同図（Ａ）に示すように、路面に存在する実線や破線は、矢印線に比べて白線の画像特徴量を含む位置が多いため、最も度数が多い２本の直線を選択すると、自車を挟んだ２本の車線として近似することができる。そして、処理部１２は、選択した２本の直線の近傍において、上記主要クラスタ内に含まれる画素を抽出し、抽出した画素の位置を白線の位置として検出する（ｓ２４）。図１１（Ｂ）は、検出した白線を画像内に表した図である。同図の斜線部分が白線として検出した位置である。この例では、自車を挟む２本の車線を直線で近似し、その近傍において主要クラスタに含まれる画素を抽出するため、多少車線が曲がっていたとしても正確に車線の位置を検出することができる。
【００３８】
このようにして、レーザレーダ装置２で検出した白線の位置の周囲における白線画像と、その位置より遠方で抽出したした白線の画像とを合成することで、自車を挟む２本の車線（白線）の位置を正確に検出することができる。
【００３９】
最後に、処理部１２は、抽出した白線の画素の位置をメモリ（不図示）に記憶するか、またはレーザレーダ装置２の処理部２２に出力する（ｓ２５）。レーザレーダ装置２の処理部２２に出力された場合、当該白線の位置を示す情報は車両制御部等に出力され、警報を発すること等に用いられる。
【００４０】
以上のように、本実施形態の物体検出装置は、まずレーザレーダ装置で白線を検出し、その位置における画像特徴量を算出してから、全画素において当該画像特徴量に含まれる位置を抽出することで、処理負荷を抑えながらも高精度に線模様を検出することができる。
【００４１】
なお、図１２に示したフローチャートにおいて、ｓ２１〜ｓ２３で行った処理は、以下の様な例の処理に置き換えることも可能である。図１３は、他の例における白線検出の手法を示す図である。図１４は、物体検出装置の他の例における動作を示すフローチャートである。なお、図１４に示すフローチャートにおいて、図１２と共通する処理については同一の符号を付し、その説明を省略する。
【００４２】
この例において、処理部１２は、レーザレーダ装置２で検出した白線の位置Ａから主要クラスタ内に含まれる画素数（度数）が最も多い直線Ｋを特定した後、当該白線の位置Ａから予め設定した車線幅（最低車線幅）に相当する距離だけ離れた位置の周囲に白線を検出する探索範囲を設定する（ｓ３１）。処理部１２は、設定した探索範囲において主要クラスタに含まれる画素が存在するか否かを判断する（ｓ３２）。主要クラスタに含まれる画素が存在せず、白線が存在しないと判断した場合、動作を終了する（次の計測まで待機する）。なお、画像内の右側にレーザレーダ装置２で白線を検出した場合、画像左側に向かって探索範囲を設定し、画像内の左側にレーザレーダ装置２で白線を検出した場合、画像右側に向かって探索範囲を設定する。中心付近で白線を検出した場合は、動作を終了する。
【００４３】
白線が存在すると判定した場合、処理部１２は、その画素を含む位置から、図８に示したように水平線に対してＮ本の直線を設定し、主要クラスタ内に含まれる画素数（度数）が最も多い直線Ｋを特定する（ｓ３３）。そして、特定した２本の直線の近傍で上記主要クラスタ内に含まれる画素を抽出し、抽出した画素の位置を白線として検出する（ｓ２４）。
【００４４】
このように、図１３および図１４に示した例では、レーザレーダ装置２で検出した白線の位置に対し、予め設定した車線幅に相当する距離だけ離れた位置の周囲で白線の画像特徴量を抽出する。当該画像特徴量を抽出することができた位置をレーザレーダ装置２が検出した白線の位置として扱うように構成する。この場合、レーザレーダ装置２において白線を検出した位置が１箇所である場合であっても、自車を挟む２本の白線の位置を検出することができる。
【００４５】
なお、本発明で検出する線模様は、本実施形態のように白線に限らず、黄色線、中央分離帯、道路と路側の境界線等、線模様であればどのようなものであってもよい。
【図面の簡単な説明】
【００４６】
【図１】物体検出装置を自動車に取り付けた例を示す図である。
【図２】カメラおよびレーザレーダ装置の構成を示すブロック図である。
【図３】レーザ光を走査している様子を示す図である。
【図４】先行車両と路面にレーザ光を走査した場合の発光強度と受光強度の関係を示す図である。
【図５】レーザレーダ装置２の処理部２２で検出した白線の位置を画像上に投影した様子を示す図である。
【図６】ＲＧＢをＨＳＶに変換し、主要クラスタとして集合化したことを示す図である。
【図７】全画素において、主要クラスタ内に含まれる画素だけを抽出したことを示す図である。
【図８】レーザレーダ装置で検出した複数の白線位置のうち１つ（位置Ａ）に対し、水平線と結ぶ直線をＮ本設定する例を示す図である。
【図９】各直線の度数分布を示す図、および特定した直線Ｋを画像上に表した図である。
【図１０】特定した複数本の直線とそれぞれの度数を示した図である。
【図１１】選択した最も度数が多い２本の直線を画像内に表した図である。
【図１２】物体検出装置の動作を示すフローチャートである。
【図１３】他の例における白線検出の手法を示す図である。
【図１４】物体検出装置の他の例における動作を示すフローチャートである。

【特許請求の範囲】
【請求項１】
前方に電磁波パルスを送信する電磁波パルス送信手段と、
前記電磁波パルス送信手段が送信した電磁波パルスを走査する走査手段と、
前記走査手段の走査角度を検出する走査角度検出手段と、
前記電磁波パルス送信手段が送信した電磁波パルスについて、目標で反射した電磁波パルスを受信する反射波受信手段と、
受信した電磁波パルスの強度、前記電磁波パルス送信手段が電磁波パルスを送信してから、前記反射波受信手段が反射した電磁波パルスを受信するまでの経過時間、および前記電磁波パルス送信手段が電磁波パルスを送信したときの前記走査角度検出手段が検出した走査角度に基づいて、前記電磁波パルスを反射した物体を検出する第１物体検出手段と、
前記前方を撮影し、画像を出力する撮像手段と、
前記撮像手段が出力した画像に基づいて、画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段の算出結果に基づいて、前記画像内の物体の種類を検出する第２物体検出手段と、を備えた物体検出装置において、
前記第１物体検出手段が線模様を検出したか否かを判定する線模様判定手段と、
検出した前記線模様の位置を検出する第１線模様位置検出手段と、
前記第１線模様位置検出手段が検出した位置において前記画像特徴量を算出する線模様特徴量算出手段と、
前記線模様特徴量算出手段が算出した画像特徴量に一致する画像特徴量を有する前記画像の位置を線模様として抽出する第２線模様位置検出手段と、
前記第１線模様位置検出手段が検出した線模様の位置における線模様と、前記第２線模様位置検出手段が抽出した線模様のうち、前記第１線模様位置検出手段が検出した位置より遠方の線模様とを合成する線模様合成手段と、
を備えた物体検出装置。
【請求項２】
前記線模様合成手段は、前記第１線模様位置検出手段が検出した線模様の位置に対し、前記画像内において予め設定した車線幅に相当する距離だけ離れた位置の周囲で前記第２線模様位置検出手段が線模様として抽出した前記画像の位置を、前記第１線模様位置検出手段が検出した線模様の位置として扱う請求項１に記載の物体検出装置。

【図１】