物体認識装置
【課題】車両と認識対象である物体との距離が変化しても、車載レーダの反射の検出パターンから車両、モータバイク、人(歩行者)等を区別して精度よく認識することができる技術を提供する。
【解決手段】探査対象となる物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶されており、レーザレーダ2の反射の検出パターンと、記憶部7に記憶された特徴パターンとが認識処理部4により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、レーザレーダ2の反射の検出パターンから車両、モータバイク、自転車、歩行者(人)等を区別して精度よく認識することができる。
【解決手段】探査対象となる物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶されており、レーザレーダ2の反射の検出パターンと、記憶部7に記憶された特徴パターンとが認識処理部4により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、レーザレーダ2の反射の検出パターンから車両、モータバイク、自転車、歩行者(人)等を区別して精度よく認識することができる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車載レーダの反射の検出パターンから車両、自転車、人(歩行者)等を区別して認識する物体認識装置に関する。
【背景技術】
【0002】
従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両(自動車)を認識するにとどまり、適用範囲が狭く、車両以外の障害物(自転車、歩行者等)も多く混在する複雑な交通環境には適用が困難である。
【0003】
車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。
【0004】
そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適用範囲を広げるのに大きく貢献する。
【0005】
ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車(主にフレーム部分)や歩行者(主に足の部分)などでの反射も得られる。
【0006】
そして、この種の車載レーダの反射の検出パターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群(クラスタ)の検出パターンが、設定したL、I、Oの3種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ステファン ウェンダー(Stefan Wender)、他3名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション(Classification of Laserscanner Measurements at Intersection Scenarios with Automatic Parameter Optimization)」、Intelligent Vehicles Symposium,2005.Proceedings.IEEE、IEEE、2005年6月、p.94−99
【発明の概要】
【発明が解決しようとする課題】
【0008】
前記非特許文献1に記載の認識では、レーザレーダにより検出されたある時点の1フレームのクラスタの検出パターンから物体を推定して認識している。ところが、車載レーダにより検出されるクラスタの検出パターンは、車両と認識対象である車両や自転車、人(歩行者)との距離に応じて異なるものとなる。しかしながら、前記非特許文献1に記載の認識では、車両と物体との距離が変化することによる車載レーダにより検出されるクラスタの検出パターンの変化が考慮されておらず、しかも、物体毎のパターン数が少ない(具体的には矩形形状、フェンスや壁、その他の形状の物体それぞれに対してL、I、Oの1つずつのパターン)。
【0009】
したがって、車両と認識対象である物体との距離が変化することで車載レーダにより検出されるクラスタの検出パターンが変化することにより、車両や自転車、人等の多種類の物体のクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率(正答率)が低くなるおそれがあった。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。
【0010】
本発明は、上記課題に鑑みてなされたものであり、車両と認識対象である物体との距離が変化しても、車載レーダの反射の検出パターンから車両、モータバイク、人(歩行者)等を区別して精度よく認識することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記した目的を達成するために、本発明の物体認識装置は、車両に搭載された車載レーダと、探査対象となる物体と前記車載レーダとの距離に応じて変化する前記車載レーダの反射の検出パターンを前記距離ごとの特徴パターンとして物体の種類別に記憶する記憶手段と、前記検出パターンを、前記記憶手段に記憶された前記特徴パターンと照合して前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴としている(請求項1)。
【0012】
また、請求項1に記載の物体認識装置において、前記各特徴パターンは、物体毎に前記車載レーダに対する向きが異なる複数のクラスに分類されたパターンであってもよい(請求項2)。
【発明の効果】
【0013】
請求項1の発明によれば、探査対象となる物体と車載レーダとの距離に応じて変化する車載レーダの反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶手段に記憶されており、車載レーダの反射の検出パターンと、記憶手段に記憶された特徴パターンとが識別手段により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、車載レーダの反射の検出パターンから車両、モータバイク、人(歩行者)等を区別して精度よく認識することができる。
【0014】
請求項2の発明によれば、同一物体でも向きによって車載レーダの反射の検出パターンの形状が異なるが、各特徴パターンが、物体毎に車載レーダに対する向きが異なる複数のクラスに分類されたパターンであるため、車載レーダにより、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態のブロック図である。
【図2】車載レーダの反射の検出パターンを説明するための図である。
【図3】車両の反射点群の特徴パターンを示す図である。
【図4】車両の反射点群の特徴パターンを示す図である。
【図5】車両の反射点群の特徴パターンを示す図である。
【図6】車両の反射点群の特徴パターンを示す図である。
【図7】車両の反射点群の特徴パターンを示す図である。
【図8】車両の反射点群の特徴パターンを示す図である。
【図9】モータバイクの反射点群の特徴パターンを示す図である。
【図10】歩行者の反射点群の特徴パターンを示す図である。
【図11】図1の動作説明用のフローチャートである。
【発明を実施するための形態】
【0016】
本発明の物体認識装置の一実施形態について、図1〜図11を参照して説明する。
【0017】
図1は本発明の一実施形態のブロック図であり、車両(自車)1が備える物体認識装置の構成を示す。また、図2はレーザレーダ2の反射の検出パターンを説明するための図であって、(a)はレーザレーダ2の構成を示し、(b)〜(g)はそれぞれレーザレーダ2の第1レイヤ〜第4レイヤにおける検出パターンの一例を示す。
【0018】
車載レーダとしてのレーザレーダ2は、車両1の前方のほぼ180°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などでの反射も得られる。そして、図2(a)に示すように、レーザレーダ2は、例えば車両1のバンパーに取り付けられ、車両1の前方を例えば4つの高さ(第1レイヤ〜第4レイヤ)に区分して、例えば80ms秒間隔のフレーム毎に探査し、前方の他の車両(自動車)、モータバイク、自転車、歩行者(人)等での反射波を受信し、各レイヤにおける水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部3に出力する。
【0019】
受信処理部3は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部4のクラスタリング処理部5に送る。
【0020】
クラスタリング処理部5は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ2から得られた各反射点の距離情報を各レイヤごとに水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者(人)等の物体を構成する点は離散的であるため、クラスタリング処理部5は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり(反射点群のクラスタ)にまとめ、前方の他の車両、モータバイク、自転車、歩行者(人)等でのフレーム毎の各反射点群の検出パターン30(クラスタ)を物体追跡処理部6に出力する(図2(b)〜(g)参照)。
【0021】
物体追跡処理部6はフレーム毎の各レイヤにおける検出パターン30を記憶部7に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターン30と直前のフレームの検出パターン30とを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部7は書き換え自在のRAMやフラッシュメモリ等からなる。
【0022】
物体追跡処理部6によりラベルが付される等したフレーム毎の各検出パターン30の情報は、特徴量抽出部8に送られる。各検出パターンの属性を認識するためには、それぞれの画像上の特徴を知る必要がある。そこで、特徴量抽出部8は、各フレームごとに、各レイヤ(第1レイヤ〜第4レイヤ)におけるクラスタのレーダ走査方向における横幅などの特徴量を抽出し、各レイヤのクラスタどうしの横幅の大きさの比率やレーダ走査方向における各クラスタどうしの相対位置などを算出することにより、各レイヤにおけるクラスタの特徴量を統合して分類スコア算出部9に送る。
【0023】
分類スコア算出部9は、例えば後述のSVM(Support Vector Machine)を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス(属するクラス)を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部10に送り、物体属性推定部10は複数フレームの時系列の分類結果から物体を推定して認識する。
【0024】
ところで、この実施形態の物体認識装置は、レーザレーダ2の各レイヤにおいて得られた距離データのみを用いたパターン認識により、車両(いわゆる自動車)、モータバイク(スクータ等も含む自動二輪車)、歩行者(人)の3種類の物体(障害物)を区別して認識する。これら3種類の物体は、同じ物体であっても、物体とレーザレーダ2との距離や、レーザレーダ2に対する物体の位置や方向によって、各レイヤごとに「形」が大きく異なり、その反射点群の検出パターン30も大きく異なる。
【0025】
そこで、この実施形態では、前記3種類の物体について、物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターン30が距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶され、さらに、記憶される特徴パターンは、各距離において、レーザレーダ2に対する物体の向きが異なる複数のクラスに分類されている。そして、各フレームにおける各レイヤの検出パターン30の特徴量に基づいて、各レイヤにおける検出パターン30と記憶部7に記憶された特徴パターンとが照合されて、検出パターン30を、最も近い特徴パターンのクラスを求めてクラス分類し、その結果から属性(物体のカテゴリ)が推定されて物体の種類が物体属性推定部10により認識される。
【0026】
なお、前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコア算出部9により、SVMを用いたパターン認識手法で行なう。SVMは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではSVMの特徴であるマージン最大化を狙い、時系列累積分類スコア(超平面までの距離)を用いて自転車を認識する。
【0027】
つぎに、記憶部7に記憶される特徴パターンについて説明する。
【0028】
図2(a)に示すように、レーザレーダ2の探査範囲は上下方向に広がりを有しているため、探査対象となる車両などの物体とレーザレーダ2との距離に応じて、各レイヤにおけるレーザレーダ2の反射の検出パターン30(クラスタ)の形状が変化する。すなわち、例えば探査対象となる他の車両20が、車両1の正面に存在するときに、同図(a)に示すように、他の車両20が近距離(約35mまで)にあれば、レーザレーダ2の全てのレイヤにおいて反射の検出パターン30が存在し、他の車両20が中距離(約35〜60m)にあれば、レーザレーダ2の第1レイヤ〜第3レイヤにおいて反射の検出パターン30が存在し、他の車両20が長距離(約60m以上)にあれば、レーザレーダ2の第1レイヤ〜第3レイヤにおいて反射の検出パターン30が存在する。
【0029】
このとき、図2(b)〜(d)に、近距離、中距離、遠距離の各距離での他の車両20の第3レイヤにおける検出パターン30を例に挙げて示すように、他の車両20とレーザレーダ2との距離の変化に伴い、同じレイヤであっても他の車両20の高さ方向における走査位置が異なるため、その反射の検出パターン30は異なる。また、図2(b),(e)〜(g)に、近距離での各レイヤにおける他の車両20の検出パターン30を例に挙げて説明するように、他の車両20が同じ位置にあっても、各レイヤにおいて他の車両20の高さ方向における走査位置が異なるため、各レイヤにおける反射の検出パターン30は異なる。
【0030】
そこで、この実施形態では、認識する物体の種類は、前記したように車両、モータバイク、歩行者(人)の3種類であるが、車両については、さらに、軽自動車、セダンタイプの自動車、ミニバンタイプの自動車、ワゴンタイプの自動車、軽トラック、大型トラックに分類し、物体とレーザレーダ2との距離に応じて変化する、それぞれの物体のレーザレーダ2の反射点群のパターンを、探査対象である物体とレーザレーダ2との距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶する。すなわち、この実施形態では、レーザレーダ2と物体との距離を、近距離、中距離、遠距離の3つに区分し、車両、モータバイク、歩行者(人)の種類別に、各距離におけるレーザレーダ2の各レイヤにおける検出パターンを特徴パターンとして記憶部7に記憶する。
【0031】
また、記憶部7に記憶された特徴パターンは、軽自動車、セダンタイプの自動車、ミニバンタイプの自動車、ワゴンタイプの自動車、軽トラック、大型トラック、モータバイクごとに、レーザレーダ2に対する向きが異なる複数のクラス(この実施形態では、側面および正面の2方向)に分類されている。なお、歩行者(人)については、近距離、中距離、遠距離における特徴パターンのみが記憶部7に格納されている。
【0032】
つぎに、各クラスの具体例について説明する。なお、この実施形態では、特に、各レイヤのクラスタ(検出パターン)どうしのレーダ走査方向における横幅の大きさの比率と、各レイヤのクラスタどうしのレーダ走査方向における相対位置とに着目し、検出パターンと、前記横幅の大きさの比率および前記相対位置が照合できるように各距離および各向きにおけるパターンを、各クラスにおける特徴パターンとして記憶部7に記憶する。
【0033】
図3は軽自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図3(a)に示すように、レーザレーダ2に対する軽自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのクラスタの横幅どうしの大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0034】
また、図3(b)に示すように、レーザレーダ2に対する軽自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのクラスタどうしの横幅の大きさの比率は、近・中・遠距離において、それぞれほぼ同じ横幅となる。
【0035】
図4はセダンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図4(a)に示すように、レーザレーダ2に対するセダンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第2レイヤから第4レイヤまでパターンの横幅が徐々に小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0036】
また、図4(b)に示すように、レーザレーダ2に対するセダンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0037】
図5はミニバンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図5(a)に示すように、レーザレーダ2に対するミニバンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0038】
また、図5(b)に示すように、レーザレーダ2に対するミニバンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0039】
図6はワゴンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図6(a)に示すように、レーザレーダ2に対するワゴンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0040】
また、図6(b)に示すように、レーザレーダ2に対するワゴンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0041】
図7は軽トラックの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図7(a)に示すように、レーザレーダ2に対する軽トラックの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0042】
また、図7(b)に示すように、レーザレーダ2に対する軽トラックの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第2レイヤおよび第3レイヤのパターンはほぼ同じ横幅となる。
【0043】
図8は大型トラックの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図8(a)に示すように、レーザレーダ2に対する大型トラックの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤ〜第4レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近・中距離では全てのレイヤのパターンはほぼ同じ横幅となり、遠距離では第4レイヤのパターンの横幅のみ他に比べて小さくなる。
【0044】
また、図8(b)に示すように、レーザレーダ2に対する大型トラックの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤ〜第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近・中・遠距離において、全てのレイヤのパターンはほぼ同じ横幅となる。
【0045】
図9はモータバイクの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダに対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図9(a)に示すように、レーザレーダ2に対するモータバイクの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では第4レイヤの横幅のみ他に比べて小さくなり、中距離では第2レイヤから第4レイヤまでパターンの横幅が徐々に小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて大きく小さくなる。
【0046】
また、図9(b)に示すように、レーザレーダ2に対するモータバイクの向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0047】
図10は歩行者の反射点群の特徴パターンを示し、それぞれ、近・中・遠距離における特徴パターンを示す。図10に示すように、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では第1レイヤおよび第2レイヤのパターンは2つに分割されており、第3レイヤおよび第4レイヤのパターンはほぼ同じ横幅となる。また、中距離では第2レイヤのパターンは2つに分割されており、第4レイヤのパターンの横幅は第3レイヤのパターンの横幅に比べて小さくなる。また、遠距離では、第2レイヤのパターンは2つに分割されており、第3レイヤのパターンの横幅は第2レイヤの2つに分割されたパターンを合わせた横幅より小さくなる。
【0048】
また、図3〜図10に示すように、各レイヤにおけるパターンの横幅の大きさは、物体の種類によりそれぞれ異なるものとなり、各レイヤおけるパターンどうしの相対位置は、物体の立体形状によりそれぞれ異なるものとなる。例えば、図3(a)に示すように、物体が軽自動車である場合に、遠距離での第3レイヤのパターンは軽自動車の後方側(第2レイヤのパターンの後方側)に位置するが、図7(a)に示すように、物体が軽トラックである場合に、遠距離での第3レイヤのパターンは軽トラックの前方側(第2レイヤのパターンの前方側)に位置する。
【0049】
また、この実施形態では、特徴量抽出部8は、各レイヤの検出パターンの、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度、主軸、動き方向などの特徴量を抽出する。また、この実施形態では、特徴量抽出部8は、各レイヤの検出パターンどうしの横幅の大きさの比率と、各レイヤの検出パターンどうしの相対位置とに関する特徴量を抽出する。そして、分類スコア算出部9は、特に、前記横幅の大きさの比率および前記相対位置に着目して記憶部7に記憶された特徴パターンと検出パターンとの照合を行い、検出パターンのクラスを分類する。
【0050】
ところで、SVMは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。SVMは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ(学習サンプル)を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部8および分類スコア算出部9を分類器により形成し、特徴量抽出部8により、分類器から出力される分離超平面までの距離(以下、スコアという)に着目し、分類スコア算出部9のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、SVMの二値分類器をワン−アゲンスト−レスト(one−against−rest)法を用いて多値分類器に拡張する。また、学習サンプルには、図3〜図10で示した各クラスについて、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。
【0051】
分類スコア算出部9は、特徴量抽出部8のフレーム毎の抽出結果の検出パターンの各特徴量が、各クラスの特徴パターンのいずれにもっとも近いかを判断して、検出パターンに最も近い特徴パターンのクラスを特定し、フレーム毎の検出パターンを該当するクラスに分類する。さらに、例えば34フレーム(0.2秒)に亘って、同じ物体の検出パターンについて分類したクラスを累積し、累積結果を物体属性推定部10に送る。物体属性推定部10は、累積数が最も大きなクラスを、その検出パターンのクラスに決定し、決定したクラスから属性を推定して物体を認識する。
【0052】
また、分類スコア算出部9によりクラスに分類した結果に基づき、物体属性推定部10によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して物体の認識を行ってもよいが、この実施形態では、複数フレームにおける分類スコア算出部9の分類結果に基づいて物体の認識を行う。すなわち、フレーム毎に物体を認識すれば、認識結果がフレーム毎に最高スコアとなったクラスから決定される。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、検出パターンを最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考えられる。そこで、この実施形態では、フレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体(カテゴリ)を認識する。
【0053】
図11は認識処理部4の各部5〜10の処理手順の一例を示し、フレーム毎にレーザレーダ2の反射点群のデータを取得し(ステップS1)、クラスタリングの処理を施し(ステップS2)、クラスタにラベルを付す等して同じ物体を追跡し(ステップS3)、そのフレームの各レイヤにおけるクラスタそれぞれの各特徴量を抽出し(ステップS4)、SSVMのパターン認識により、分類スコアを算出し(ステップS5)、例えばN=34フレームに亘って同じ物体の分類スコアを累積する(ステップS6、ステップS7)。そして、その累積結果から物体を認識する(ステップS8)。
【0054】
以上のように、上記した実施形態によれば、探査対象となる物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶されており、レーザレーダ2の反射の検出パターンと、記憶部7に記憶された特徴パターンとが認識処理部4により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、レーザレーダ2の反射の検出パターンから車両、モータバイク、自転車、歩行者(人)等を区別して精度よく認識することができる。
【0055】
また、同一物体でも向きによってレーザレーダ2の反射の検出パターンの形状が異なるが、各特徴パターンが、物体毎にレーザレーダ2に対する向きが異なる複数のクラスに分類されたパターンであるため、レーザレーダ2により、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【0056】
また、1つのレイヤでの検出パターンのみから物体を識別していた従来の技術と比較すると、レーザレーダ2の探査範囲を高さ方向に複数のレイヤに分割し、各レイヤでの反射の検出パターンの特徴を組合わせて、検出パターンの物体の種類を識別しているため、物体の認識精度を向上することができる。
【0057】
そして、物体属性推定部10が認識した物体の情報が、認識処理部4から運転支援部11に送られ、運転支援部11は車両、モータバイク、歩行者(人)の別に応じた警報等の運転支援を行なうことができる。
【0058】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施例に限るものではなく、また、物体として、自転車等、上記したもの以外に種々の物体の特徴パターンを予め記憶部7に格納して物体を認識するようにしてもよい。また、パターン認識の手法は、SVMに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。
【0059】
また、記憶部7に記憶される車両1と物体との距離ごとの特徴パターンは、上記した、近距離、中距離、遠距離の3つに区分された距離別の特徴パターンに限られるものではなく、さらに距離を区分して、区分された距離別の特徴パターンを記憶部7に記憶してもよい。
【0060】
また、上記した実施形態では、特に、各レイヤにおける検出パターンの横幅の大きさの比率および相対位置に着目してパターン認識を行ったが、図2に示す、各レイヤの2次元形状を組合わせた3次元形状の特徴パターンを記憶部7に記憶し、記憶された3次元形状の特徴パターンに基づくパターン認識を行ってもよい。
【0061】
また、物体の向きに応じた複数のクラスは必ずしも設けなくともよい。
【0062】
また、車載レーダはレーザレーダ2に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、車両1の後方や左右側を探査するものであってもよく、車両1の全周を探査するものであってもよい。また、車載レーダの探査範囲を高さ方向に複数のレイヤに区分して、各レイヤにおける検出パターンの特徴によりパターン認識を行うようにすればよく、また、レイヤの数は上記したように4つに限るものではない。
【0063】
つぎに、認識処理部4の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。
【0064】
そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。
【符号の説明】
【0065】
1 車両
2 レーザレーダ(車載レーダ)
4 認識処理部(識別手段)
7 記憶部(記憶手段)
20 車両(物体)
30 検出パターン
【技術分野】
【0001】
この発明は、車載レーダの反射の検出パターンから車両、自転車、人(歩行者)等を区別して認識する物体認識装置に関する。
【背景技術】
【0002】
従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両(自動車)を認識するにとどまり、適用範囲が狭く、車両以外の障害物(自転車、歩行者等)も多く混在する複雑な交通環境には適用が困難である。
【0003】
車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。
【0004】
そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適用範囲を広げるのに大きく貢献する。
【0005】
ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車(主にフレーム部分)や歩行者(主に足の部分)などでの反射も得られる。
【0006】
そして、この種の車載レーダの反射の検出パターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群(クラスタ)の検出パターンが、設定したL、I、Oの3種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ステファン ウェンダー(Stefan Wender)、他3名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション(Classification of Laserscanner Measurements at Intersection Scenarios with Automatic Parameter Optimization)」、Intelligent Vehicles Symposium,2005.Proceedings.IEEE、IEEE、2005年6月、p.94−99
【発明の概要】
【発明が解決しようとする課題】
【0008】
前記非特許文献1に記載の認識では、レーザレーダにより検出されたある時点の1フレームのクラスタの検出パターンから物体を推定して認識している。ところが、車載レーダにより検出されるクラスタの検出パターンは、車両と認識対象である車両や自転車、人(歩行者)との距離に応じて異なるものとなる。しかしながら、前記非特許文献1に記載の認識では、車両と物体との距離が変化することによる車載レーダにより検出されるクラスタの検出パターンの変化が考慮されておらず、しかも、物体毎のパターン数が少ない(具体的には矩形形状、フェンスや壁、その他の形状の物体それぞれに対してL、I、Oの1つずつのパターン)。
【0009】
したがって、車両と認識対象である物体との距離が変化することで車載レーダにより検出されるクラスタの検出パターンが変化することにより、車両や自転車、人等の多種類の物体のクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率(正答率)が低くなるおそれがあった。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。
【0010】
本発明は、上記課題に鑑みてなされたものであり、車両と認識対象である物体との距離が変化しても、車載レーダの反射の検出パターンから車両、モータバイク、人(歩行者)等を区別して精度よく認識することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記した目的を達成するために、本発明の物体認識装置は、車両に搭載された車載レーダと、探査対象となる物体と前記車載レーダとの距離に応じて変化する前記車載レーダの反射の検出パターンを前記距離ごとの特徴パターンとして物体の種類別に記憶する記憶手段と、前記検出パターンを、前記記憶手段に記憶された前記特徴パターンと照合して前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴としている(請求項1)。
【0012】
また、請求項1に記載の物体認識装置において、前記各特徴パターンは、物体毎に前記車載レーダに対する向きが異なる複数のクラスに分類されたパターンであってもよい(請求項2)。
【発明の効果】
【0013】
請求項1の発明によれば、探査対象となる物体と車載レーダとの距離に応じて変化する車載レーダの反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶手段に記憶されており、車載レーダの反射の検出パターンと、記憶手段に記憶された特徴パターンとが識別手段により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、車載レーダの反射の検出パターンから車両、モータバイク、人(歩行者)等を区別して精度よく認識することができる。
【0014】
請求項2の発明によれば、同一物体でも向きによって車載レーダの反射の検出パターンの形状が異なるが、各特徴パターンが、物体毎に車載レーダに対する向きが異なる複数のクラスに分類されたパターンであるため、車載レーダにより、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態のブロック図である。
【図2】車載レーダの反射の検出パターンを説明するための図である。
【図3】車両の反射点群の特徴パターンを示す図である。
【図4】車両の反射点群の特徴パターンを示す図である。
【図5】車両の反射点群の特徴パターンを示す図である。
【図6】車両の反射点群の特徴パターンを示す図である。
【図7】車両の反射点群の特徴パターンを示す図である。
【図8】車両の反射点群の特徴パターンを示す図である。
【図9】モータバイクの反射点群の特徴パターンを示す図である。
【図10】歩行者の反射点群の特徴パターンを示す図である。
【図11】図1の動作説明用のフローチャートである。
【発明を実施するための形態】
【0016】
本発明の物体認識装置の一実施形態について、図1〜図11を参照して説明する。
【0017】
図1は本発明の一実施形態のブロック図であり、車両(自車)1が備える物体認識装置の構成を示す。また、図2はレーザレーダ2の反射の検出パターンを説明するための図であって、(a)はレーザレーダ2の構成を示し、(b)〜(g)はそれぞれレーザレーダ2の第1レイヤ〜第4レイヤにおける検出パターンの一例を示す。
【0018】
車載レーダとしてのレーザレーダ2は、車両1の前方のほぼ180°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などでの反射も得られる。そして、図2(a)に示すように、レーザレーダ2は、例えば車両1のバンパーに取り付けられ、車両1の前方を例えば4つの高さ(第1レイヤ〜第4レイヤ)に区分して、例えば80ms秒間隔のフレーム毎に探査し、前方の他の車両(自動車)、モータバイク、自転車、歩行者(人)等での反射波を受信し、各レイヤにおける水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部3に出力する。
【0019】
受信処理部3は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部4のクラスタリング処理部5に送る。
【0020】
クラスタリング処理部5は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ2から得られた各反射点の距離情報を各レイヤごとに水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者(人)等の物体を構成する点は離散的であるため、クラスタリング処理部5は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり(反射点群のクラスタ)にまとめ、前方の他の車両、モータバイク、自転車、歩行者(人)等でのフレーム毎の各反射点群の検出パターン30(クラスタ)を物体追跡処理部6に出力する(図2(b)〜(g)参照)。
【0021】
物体追跡処理部6はフレーム毎の各レイヤにおける検出パターン30を記憶部7に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターン30と直前のフレームの検出パターン30とを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部7は書き換え自在のRAMやフラッシュメモリ等からなる。
【0022】
物体追跡処理部6によりラベルが付される等したフレーム毎の各検出パターン30の情報は、特徴量抽出部8に送られる。各検出パターンの属性を認識するためには、それぞれの画像上の特徴を知る必要がある。そこで、特徴量抽出部8は、各フレームごとに、各レイヤ(第1レイヤ〜第4レイヤ)におけるクラスタのレーダ走査方向における横幅などの特徴量を抽出し、各レイヤのクラスタどうしの横幅の大きさの比率やレーダ走査方向における各クラスタどうしの相対位置などを算出することにより、各レイヤにおけるクラスタの特徴量を統合して分類スコア算出部9に送る。
【0023】
分類スコア算出部9は、例えば後述のSVM(Support Vector Machine)を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス(属するクラス)を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部10に送り、物体属性推定部10は複数フレームの時系列の分類結果から物体を推定して認識する。
【0024】
ところで、この実施形態の物体認識装置は、レーザレーダ2の各レイヤにおいて得られた距離データのみを用いたパターン認識により、車両(いわゆる自動車)、モータバイク(スクータ等も含む自動二輪車)、歩行者(人)の3種類の物体(障害物)を区別して認識する。これら3種類の物体は、同じ物体であっても、物体とレーザレーダ2との距離や、レーザレーダ2に対する物体の位置や方向によって、各レイヤごとに「形」が大きく異なり、その反射点群の検出パターン30も大きく異なる。
【0025】
そこで、この実施形態では、前記3種類の物体について、物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターン30が距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶され、さらに、記憶される特徴パターンは、各距離において、レーザレーダ2に対する物体の向きが異なる複数のクラスに分類されている。そして、各フレームにおける各レイヤの検出パターン30の特徴量に基づいて、各レイヤにおける検出パターン30と記憶部7に記憶された特徴パターンとが照合されて、検出パターン30を、最も近い特徴パターンのクラスを求めてクラス分類し、その結果から属性(物体のカテゴリ)が推定されて物体の種類が物体属性推定部10により認識される。
【0026】
なお、前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコア算出部9により、SVMを用いたパターン認識手法で行なう。SVMは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではSVMの特徴であるマージン最大化を狙い、時系列累積分類スコア(超平面までの距離)を用いて自転車を認識する。
【0027】
つぎに、記憶部7に記憶される特徴パターンについて説明する。
【0028】
図2(a)に示すように、レーザレーダ2の探査範囲は上下方向に広がりを有しているため、探査対象となる車両などの物体とレーザレーダ2との距離に応じて、各レイヤにおけるレーザレーダ2の反射の検出パターン30(クラスタ)の形状が変化する。すなわち、例えば探査対象となる他の車両20が、車両1の正面に存在するときに、同図(a)に示すように、他の車両20が近距離(約35mまで)にあれば、レーザレーダ2の全てのレイヤにおいて反射の検出パターン30が存在し、他の車両20が中距離(約35〜60m)にあれば、レーザレーダ2の第1レイヤ〜第3レイヤにおいて反射の検出パターン30が存在し、他の車両20が長距離(約60m以上)にあれば、レーザレーダ2の第1レイヤ〜第3レイヤにおいて反射の検出パターン30が存在する。
【0029】
このとき、図2(b)〜(d)に、近距離、中距離、遠距離の各距離での他の車両20の第3レイヤにおける検出パターン30を例に挙げて示すように、他の車両20とレーザレーダ2との距離の変化に伴い、同じレイヤであっても他の車両20の高さ方向における走査位置が異なるため、その反射の検出パターン30は異なる。また、図2(b),(e)〜(g)に、近距離での各レイヤにおける他の車両20の検出パターン30を例に挙げて説明するように、他の車両20が同じ位置にあっても、各レイヤにおいて他の車両20の高さ方向における走査位置が異なるため、各レイヤにおける反射の検出パターン30は異なる。
【0030】
そこで、この実施形態では、認識する物体の種類は、前記したように車両、モータバイク、歩行者(人)の3種類であるが、車両については、さらに、軽自動車、セダンタイプの自動車、ミニバンタイプの自動車、ワゴンタイプの自動車、軽トラック、大型トラックに分類し、物体とレーザレーダ2との距離に応じて変化する、それぞれの物体のレーザレーダ2の反射点群のパターンを、探査対象である物体とレーザレーダ2との距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶する。すなわち、この実施形態では、レーザレーダ2と物体との距離を、近距離、中距離、遠距離の3つに区分し、車両、モータバイク、歩行者(人)の種類別に、各距離におけるレーザレーダ2の各レイヤにおける検出パターンを特徴パターンとして記憶部7に記憶する。
【0031】
また、記憶部7に記憶された特徴パターンは、軽自動車、セダンタイプの自動車、ミニバンタイプの自動車、ワゴンタイプの自動車、軽トラック、大型トラック、モータバイクごとに、レーザレーダ2に対する向きが異なる複数のクラス(この実施形態では、側面および正面の2方向)に分類されている。なお、歩行者(人)については、近距離、中距離、遠距離における特徴パターンのみが記憶部7に格納されている。
【0032】
つぎに、各クラスの具体例について説明する。なお、この実施形態では、特に、各レイヤのクラスタ(検出パターン)どうしのレーダ走査方向における横幅の大きさの比率と、各レイヤのクラスタどうしのレーダ走査方向における相対位置とに着目し、検出パターンと、前記横幅の大きさの比率および前記相対位置が照合できるように各距離および各向きにおけるパターンを、各クラスにおける特徴パターンとして記憶部7に記憶する。
【0033】
図3は軽自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図3(a)に示すように、レーザレーダ2に対する軽自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのクラスタの横幅どうしの大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0034】
また、図3(b)に示すように、レーザレーダ2に対する軽自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのクラスタどうしの横幅の大きさの比率は、近・中・遠距離において、それぞれほぼ同じ横幅となる。
【0035】
図4はセダンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図4(a)に示すように、レーザレーダ2に対するセダンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第2レイヤから第4レイヤまでパターンの横幅が徐々に小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0036】
また、図4(b)に示すように、レーザレーダ2に対するセダンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0037】
図5はミニバンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図5(a)に示すように、レーザレーダ2に対するミニバンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0038】
また、図5(b)に示すように、レーザレーダ2に対するミニバンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0039】
図6はワゴンタイプの自動車の反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図6(a)に示すように、レーザレーダ2に対するワゴンタイプの自動車の向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0040】
また、図6(b)に示すように、レーザレーダ2に対するワゴンタイプの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0041】
図7は軽トラックの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図7(a)に示すように、レーザレーダ2に対する軽トラックの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて小さくなる。
【0042】
また、図7(b)に示すように、レーザレーダ2に対する軽トラックの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第2レイヤおよび第3レイヤのパターンはほぼ同じ横幅となる。
【0043】
図8は大型トラックの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダ2に対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図8(a)に示すように、レーザレーダ2に対する大型トラックの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤ〜第4レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近・中距離では全てのレイヤのパターンはほぼ同じ横幅となり、遠距離では第4レイヤのパターンの横幅のみ他に比べて小さくなる。
【0044】
また、図8(b)に示すように、レーザレーダ2に対する大型トラックの自動車の向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤ〜第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近・中・遠距離において、全てのレイヤのパターンはほぼ同じ横幅となる。
【0045】
図9はモータバイクの反射点群の特徴パターンを示し、(a)はそれぞれレーザレーダ2に対する向きが側面であるときの近・中・遠距離における特徴パターンを示し、(b)はそれぞれレーザレーダに対する向きが正面であるときの近・中・遠距離における特徴パターンを示す。図9(a)に示すように、レーザレーダ2に対するモータバイクの向きが側面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では第4レイヤの横幅のみ他に比べて小さくなり、中距離では第2レイヤから第4レイヤまでパターンの横幅が徐々に小さくなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて大きく小さくなる。
【0046】
また、図9(b)に示すように、レーザレーダ2に対するモータバイクの向きが正面であるときに、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では全てのレイヤのパターンはほぼ同じ横幅となり、中距離では第4レイヤのパターンの横幅のみ他に比べて少し小さいものとなり、遠距離では第3レイヤのパターンの横幅が第2レイヤのパターンの横幅に比べて少し小さくなる。
【0047】
図10は歩行者の反射点群の特徴パターンを示し、それぞれ、近・中・遠距離における特徴パターンを示す。図10に示すように、近距離では全てのレイヤにおいてパターンが存在し、中距離では第2レイヤ〜第4レイヤにおいてパターンが存在し、遠距離では第2レイヤおよび第3レイヤにおいてパターンが存在する。そして、パターンが存在する各レイヤのパターンどうしの横幅の大きさの比率は、近距離では第1レイヤおよび第2レイヤのパターンは2つに分割されており、第3レイヤおよび第4レイヤのパターンはほぼ同じ横幅となる。また、中距離では第2レイヤのパターンは2つに分割されており、第4レイヤのパターンの横幅は第3レイヤのパターンの横幅に比べて小さくなる。また、遠距離では、第2レイヤのパターンは2つに分割されており、第3レイヤのパターンの横幅は第2レイヤの2つに分割されたパターンを合わせた横幅より小さくなる。
【0048】
また、図3〜図10に示すように、各レイヤにおけるパターンの横幅の大きさは、物体の種類によりそれぞれ異なるものとなり、各レイヤおけるパターンどうしの相対位置は、物体の立体形状によりそれぞれ異なるものとなる。例えば、図3(a)に示すように、物体が軽自動車である場合に、遠距離での第3レイヤのパターンは軽自動車の後方側(第2レイヤのパターンの後方側)に位置するが、図7(a)に示すように、物体が軽トラックである場合に、遠距離での第3レイヤのパターンは軽トラックの前方側(第2レイヤのパターンの前方側)に位置する。
【0049】
また、この実施形態では、特徴量抽出部8は、各レイヤの検出パターンの、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度、主軸、動き方向などの特徴量を抽出する。また、この実施形態では、特徴量抽出部8は、各レイヤの検出パターンどうしの横幅の大きさの比率と、各レイヤの検出パターンどうしの相対位置とに関する特徴量を抽出する。そして、分類スコア算出部9は、特に、前記横幅の大きさの比率および前記相対位置に着目して記憶部7に記憶された特徴パターンと検出パターンとの照合を行い、検出パターンのクラスを分類する。
【0050】
ところで、SVMは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。SVMは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ(学習サンプル)を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部8および分類スコア算出部9を分類器により形成し、特徴量抽出部8により、分類器から出力される分離超平面までの距離(以下、スコアという)に着目し、分類スコア算出部9のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、SVMの二値分類器をワン−アゲンスト−レスト(one−against−rest)法を用いて多値分類器に拡張する。また、学習サンプルには、図3〜図10で示した各クラスについて、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。
【0051】
分類スコア算出部9は、特徴量抽出部8のフレーム毎の抽出結果の検出パターンの各特徴量が、各クラスの特徴パターンのいずれにもっとも近いかを判断して、検出パターンに最も近い特徴パターンのクラスを特定し、フレーム毎の検出パターンを該当するクラスに分類する。さらに、例えば34フレーム(0.2秒)に亘って、同じ物体の検出パターンについて分類したクラスを累積し、累積結果を物体属性推定部10に送る。物体属性推定部10は、累積数が最も大きなクラスを、その検出パターンのクラスに決定し、決定したクラスから属性を推定して物体を認識する。
【0052】
また、分類スコア算出部9によりクラスに分類した結果に基づき、物体属性推定部10によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して物体の認識を行ってもよいが、この実施形態では、複数フレームにおける分類スコア算出部9の分類結果に基づいて物体の認識を行う。すなわち、フレーム毎に物体を認識すれば、認識結果がフレーム毎に最高スコアとなったクラスから決定される。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、検出パターンを最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考えられる。そこで、この実施形態では、フレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体(カテゴリ)を認識する。
【0053】
図11は認識処理部4の各部5〜10の処理手順の一例を示し、フレーム毎にレーザレーダ2の反射点群のデータを取得し(ステップS1)、クラスタリングの処理を施し(ステップS2)、クラスタにラベルを付す等して同じ物体を追跡し(ステップS3)、そのフレームの各レイヤにおけるクラスタそれぞれの各特徴量を抽出し(ステップS4)、SSVMのパターン認識により、分類スコアを算出し(ステップS5)、例えばN=34フレームに亘って同じ物体の分類スコアを累積する(ステップS6、ステップS7)。そして、その累積結果から物体を認識する(ステップS8)。
【0054】
以上のように、上記した実施形態によれば、探査対象となる物体とレーザレーダ2との距離に応じて変化するレーザレーダ2の反射の検出パターンが、距離ごとの特徴パターンとして物体の種類別に記憶部7に記憶されており、レーザレーダ2の反射の検出パターンと、記憶部7に記憶された特徴パターンとが認識処理部4により照合されて検出パターンの物体の種類が識別されるため、車両と認識対象である物体との距離が変化しても、レーザレーダ2の反射の検出パターンから車両、モータバイク、自転車、歩行者(人)等を区別して精度よく認識することができる。
【0055】
また、同一物体でも向きによってレーザレーダ2の反射の検出パターンの形状が異なるが、各特徴パターンが、物体毎にレーザレーダ2に対する向きが異なる複数のクラスに分類されたパターンであるため、レーザレーダ2により、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【0056】
また、1つのレイヤでの検出パターンのみから物体を識別していた従来の技術と比較すると、レーザレーダ2の探査範囲を高さ方向に複数のレイヤに分割し、各レイヤでの反射の検出パターンの特徴を組合わせて、検出パターンの物体の種類を識別しているため、物体の認識精度を向上することができる。
【0057】
そして、物体属性推定部10が認識した物体の情報が、認識処理部4から運転支援部11に送られ、運転支援部11は車両、モータバイク、歩行者(人)の別に応じた警報等の運転支援を行なうことができる。
【0058】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施例に限るものではなく、また、物体として、自転車等、上記したもの以外に種々の物体の特徴パターンを予め記憶部7に格納して物体を認識するようにしてもよい。また、パターン認識の手法は、SVMに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。
【0059】
また、記憶部7に記憶される車両1と物体との距離ごとの特徴パターンは、上記した、近距離、中距離、遠距離の3つに区分された距離別の特徴パターンに限られるものではなく、さらに距離を区分して、区分された距離別の特徴パターンを記憶部7に記憶してもよい。
【0060】
また、上記した実施形態では、特に、各レイヤにおける検出パターンの横幅の大きさの比率および相対位置に着目してパターン認識を行ったが、図2に示す、各レイヤの2次元形状を組合わせた3次元形状の特徴パターンを記憶部7に記憶し、記憶された3次元形状の特徴パターンに基づくパターン認識を行ってもよい。
【0061】
また、物体の向きに応じた複数のクラスは必ずしも設けなくともよい。
【0062】
また、車載レーダはレーザレーダ2に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、車両1の後方や左右側を探査するものであってもよく、車両1の全周を探査するものであってもよい。また、車載レーダの探査範囲を高さ方向に複数のレイヤに区分して、各レイヤにおける検出パターンの特徴によりパターン認識を行うようにすればよく、また、レイヤの数は上記したように4つに限るものではない。
【0063】
つぎに、認識処理部4の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。
【0064】
そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。
【符号の説明】
【0065】
1 車両
2 レーザレーダ(車載レーダ)
4 認識処理部(識別手段)
7 記憶部(記憶手段)
20 車両(物体)
30 検出パターン
【特許請求の範囲】
【請求項1】
車両に搭載された車載レーダと、
探査対象となる物体と前記車載レーダとの距離に応じて変化する前記車載レーダの反射の検出パターンを前記距離ごとの特徴パターンとして物体の種類別に記憶する記憶手段と、
前記検出パターンを、前記記憶手段に記憶された前記特徴パターンと照合して前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴とする物体認識装置。
【請求項2】
請求項1に記載の物体認識装置において、
前記各特徴パターンは、物体毎に前記車載レーダに対する向きが異なる複数のクラスに分類されたパターンであることを特徴とする物体認識装置。
【請求項1】
車両に搭載された車載レーダと、
探査対象となる物体と前記車載レーダとの距離に応じて変化する前記車載レーダの反射の検出パターンを前記距離ごとの特徴パターンとして物体の種類別に記憶する記憶手段と、
前記検出パターンを、前記記憶手段に記憶された前記特徴パターンと照合して前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴とする物体認識装置。
【請求項2】
請求項1に記載の物体認識装置において、
前記各特徴パターンは、物体毎に前記車載レーダに対する向きが異なる複数のクラスに分類されたパターンであることを特徴とする物体認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−186584(P2011−186584A)
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願番号】特願2010−48867(P2010−48867)
【出願日】平成22年3月5日(2010.3.5)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願日】平成22年3月5日(2010.3.5)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】
[ Back to top ]