説明

物体認識装置

【課題】車載レーダの反射の検出パターンから車両、モータバイク、自転車、人(歩行者)等を区別して認識する認識精度の向上を図ることができる技術を提供する。
【解決手段】複数フレームのレーザレーダ2による対象物体の反射の検出パターンを重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターンが生成されて、対象物体の形状を明りょうに示す合成検出パターンに基づく、対象物体の形状およびサイズ、自車両1と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、パターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターンに基づいてパターン認識が行われるのに比べ、レーザレーダ2の反射の検出パターン30から車両、モータバイク、自転車、人(歩行者)等を区別して認識する認識精度の向上を図ることができる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車載レーダの反射の検出パターンから車両、自転車、人(歩行者)等を区別して認識する物体認識装置に関する。
【背景技術】
【0002】
従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両(自動車)を認識するにとどまり、適用範囲が狭く、車両以外の障害物(自転車、歩行者等)も多く混在する複雑な交通環境には適用が困難である。
【0003】
車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。
【0004】
そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適用範囲を広げるのに大きく貢献する。
【0005】
ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車(主にフレーム部分)や歩行者(主に足の部分)などでの反射も得られる。
【0006】
そして、この種の車載レーダの反射の検出パターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群(クラスタ)の検出パターンが、設定したL、I、Oの3種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている(例えば、非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ステファン ウェンダー(Stefan Wender)、他3名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション(Classification of Laserscanner Measurements at Intersection Scenarios with Automatic Parameter Optimization)」、Intelligent Vehicles Symposium,2005.Proceedings.IEEE、IEEE、2005年6月、p.94−99
【発明の概要】
【発明が解決しようとする課題】
【0008】
前記非特許文献1に記載の認識では、レーザレーダにより検出されたある時点の1フレームのクラスタの検出パターンが、物体の一部の形状を示すL、I、Oの3種類のパターンのいずれに属するかによって、物体の種類を推定しているが、基準となるパターンの数が少ないため、検出パターンがいずれのパターンにも属さない場合がある。また、基準となるパターンを、L、I、Oの3種類のパターンから増やすことも考えられるが、このようにしても、1フレームのクラスタの検出パターンおよび基準となる各々のパターンは、それぞれ物体の一部の形状を示すものであるため、検出パターンがいずれのパターンにも属さなかったり、実際の物体とは異なる物体のパターンに属すおそれもある。
【0009】
したがって、車両や自転車、人等の多種類の物体の形状の一部を示すクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率(正答率)が低くなるおそれがあった。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。
【0010】
本発明は、上記課題に鑑みてなされたものであり、車載レーダの反射の検出パターンから車両、モータバイク、自転車、人(歩行者)等を区別して認識する認識精度の向上を図ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記した目的を達成するために、本発明の物体認識装置は、車載レーダの反射の検出パターンに基づいて物体の種別を識別する物体認識装置であって、複数フレームの前記車載レーダによる対象物体の反射の検出パターンをつなぎ合わせて合成検出パターンを生成する合成手段と、前記合成検出パターンに基づいてパターン認識を行い前記対象物体の種別を識別する識別手段とを備えたことを特徴としている(請求項1)。
【発明の効果】
【0012】
請求項1の発明によれば、複数フレームの車載レーダによる対象物体の反射の検出パターンを重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターンが合成手段により生成されて、対象物体の形状を明りょうに示す合成検出パターンに基づく、対象物体の形状およびサイズ、自車両と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、識別手段によりパターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターンに基づいてパターン認識が行われるのに比べ、車載レーダの反射の検出パターンから車両、モータバイク、自転車、人(歩行者)等を区別して認識する認識精度の向上を図ることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態のブロック図である。
【図2】車載レーダの反射の検出パターンを説明するための図である。
【図3】物体の反射点群のクラスを説明するための図である。
【図4】図1の動作説明用のフローチャートである。
【発明を実施するための形態】
【0014】
本発明の物体認識装置の一実施形態について、図1〜図4を参照して説明する。
【0015】
図1は本発明の一実施形態のブロック図であり、レーザレーダ2の反射の検出パターンに基づいて物体の種別を識別する物体認識装置の構成を示す。また、図2はレーザレーダ2の反射の検出パターンを説明するための図であって、(t1)〜(t4)はそれぞれ時刻t1〜t4における検出パターン30の一例である。
【0016】
車載レーダとしてのレーザレーダ2は、自車両1の前方のほぼ180°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などの反射も得られる。そして、レーザレーダ2は、例えば自車両1のバンパーに取り付けられ、自車両1の前方を例えば80ms秒間隔のフレーム毎に探査し、前方の他の車両(自動車)、モータバイク、自転車、歩行者(人)等での反射波を受信し、各高さにおける水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部3に出力する。
【0017】
受信処理部3は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部4のクラスタリング処理部5に送る。
【0018】
クラスタリング処理部5は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ2から得られた各反射点の距離情報を各高さごとに水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者(人)等の物体を構成する点は離散的であるため、クラスタリング処理部5は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり(反射点群のクラスタ)にまとめ、前方の他の車両、モータバイク、自転車、歩行者(人)等でのフレーム毎の各反射点群の検出パターン30(クラスタ)を物体追跡処理部6に出力する(図2参照)。
【0019】
物体追跡処理部6はフレーム毎の検出パターン30を記憶部12に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターン30と直前のフレームの検出パターン30とを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部12は書き換え自在のRAMやフラッシュメモリ等からなる。
【0020】
物体追跡処理部6によりラベルが付される等したフレーム毎の各検出パターン30の情報は、本発明の合成手段として機能する合成処理部7に送られる。自車両1と、認識対象である物体との相対的な位置関係が時々刻々と変化する場合、各フレーム毎の検出パターン30は、ある時点での物体の一部のみを示すものであって、その形状は各フレーム毎に異なるものとなる。したがって、各フレーム毎のクラスタの検出パターン30は、物体の輪郭を明りょうに示すものではない。
【0021】
そこで、合成処理部7は、複数フレームのレーザレーダ2による対象物体の反射の検出パターン30を重ねてつなぎ合わせることにより、認識対象である物体の輪郭を明りょうに示す合成検出パターン31を生成する。すなわち、物体追跡処理部6により検出パターン30にラベル等が付されているため、合成処理部7は、各フレームにおける同一の対象物体の検出パターン30を認識できる。
【0022】
そして、合成処理部7は、複数フレームにおける認識対象である同一物体の検出パターン30についてそれぞれ基準点BPを設定し、設定した基準点BPに基づいて各検出パターン30を重ねてつなぎ合わせることで合成検出パターン31を生成する。図2に示す例では、十字路40を、自車両1が実線矢印方向に移動し、他の車両20(物体)が破線矢印方向に移動しているときに、合成処理部7は、時刻t1〜t4のフレームにおける車両20の検出パターン30を重ねてつなぎ合わせて合成検出パターン31を生成している。
【0023】
具体的には、合成処理部7は、時刻t1のフレームにおいて、凸包検出処理、コーナーディテクタ処理、ハフ変換等の処理を行うことで、検出パターン30の、角、端、直角等を検出し、検出した検出パターン30の屈曲部または端等を基準点BPとして設定する。次に、合成処理部7は、時刻t2のフレームにおいて、前記と同様の処理を行って、時刻t2のフレームにおける検出パターン30の基準点BPを設定し、時刻t1,t2のフレームにおける両検出パターン30どうしを、基準点BPを基準として回転処理などすることにより重ねてつなぎ合わせて、時刻t2における合成検出パターン31を生成する。
【0024】
続いて、合成処理部7は、同様にして時刻t3のフレームにおける検出パターン30の基準点BPを設定し、時刻t3のフレームにおける検出パターン30を、時刻t2における合成検出パターン31に基準点BPを基準として重ねてつなぎ合わせて、時刻t3における合成検出パターン31を生成する。さらに、合成処理部7は、時刻t4のフレームにおける検出パターン30の基準点BPを設定し、同様にして時刻t4のフレームにおける検出パターン30を、時刻t3における合成検出パターン31に基準点BPを基準として重ねてつなぎ合わせて、時刻t4における合成検出パターン31を生成する。
【0025】
以上の処理を、合成処理部7は、後述するように、合成検出パターン31に基づく物体認識が行うことができるようになるまで続けることにより、合成検出パターン31が示す対象物体の輪郭を明りょうにする。なお、図2中、●は当該時刻において既に取得済みのレーザレーダ2による物体の反射点群を示し、○は当該時刻において新たに取得されたレーザレーダ2による物体の反射点群を示す。
【0026】
また、図2に示すように、各フレームにおけるクラスタは、所定時刻ごとに順次取得されるため、一のフレームの検出パターン30に設定された基準点BPは、当該フレームの前後のフレームの両検出パターン30にも含まれている蓋然性が非常に高い。そこで、前記した各フレームにおける検出パターン30の基準点に関する特徴に着目し、合成処理部7は、各検出パターン30に設定した基準点BPに基づいて、検出パターン30を順次重ね合わせて合成検出パターン31を生成する。
【0027】
また、合成処理部7は、上記した基準点BPに基づく各検出パターン30の合成に限らず、各フレームにおいて取得される検出パターンを、回転処理、平行移動処理等を行うことによるパターンマッチングにより、順次、重ね合わせて各検出パターン30を合成して合成検出パターン31を生成することもできる。
【0028】
合成処理部7により各検出パターン30がつなぎ合わされて生成された合成検出パターン31の情報は、特徴量抽出部8に送られる。合成検出パターン31(各検出パターン30)の属性を認識するためには、合成検出パターン31の画像上の特徴を知る必要がある。そこで、特徴量抽出部8は、合成検出パターン31の形状、サイズ、自車両1との相対距離および相対位置、動きのベクトル、円形度等の特徴量を抽出して分類スコア算出部9に送る。
【0029】
分類スコア算出部9は、例えば後述のSVM(Support Vector Machine)を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス(属するクラス)を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部10に送り、物体属性推定部10は複数フレームの時系列の分類結果から物体を推定して認識する。
【0030】
ところで、この実施形態の物体認識装置は、レーザレーダ2により得られた認識対象物体との距離データのみを用いたパターン認識により、車両(いわゆる自動車)、モータバイク(スクータ等も含む自動二輪車)、自転車、歩行者(人)の4種類の物体(障害物)を区別して認識する。これら4種類の物体は、同じ物体であっても、物体とレーザレーダ2との距離や、レーザレーダ2に対する物体の位置や方向によって「形」が大きく異なり、その反射点群の検出パターン30も大きく異なる。
【0031】
そこで、この実施形態では、前記したように複数フレームの検出パターン30を重ねてつなぎ合わせることで合成検出パターン31を生成し、対象物体の輪郭を明りょうにしている。そして、この実施形態では、前記4種類の物体について、それぞれ各物体の輪郭を示す1つの特徴パターン(クラス)が設定され、合成検出パターン31と、設定された特徴パターンとがパターン認識により照合されて、合成検出パターン31を、最も近い特徴パターンのクラスを求めてクラス分類し、その結果から属性(物体のカテゴリ)が推定されて物体の種類が物体属性推定部10により認識される。
【0032】
なお、前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコア算出部9により、SVMを用いたパターン認識手法で行なう。SVMは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではSVMの特徴であるマージン最大化を狙い、時系列累積分類スコア(超平面までの距離)を用いて自転車を認識する。
【0033】
つぎに、記憶部12に記憶される特徴パターンについて説明する。
【0034】
認識する物体の種類は、前記したように車両、モータバイク、自転車、歩行者(人)の4種類であり、各物体の輪郭を示すパターンにより4つのクラスを設定する。すなわち、車両についてはクラスV、モータバイクについてはクラスM、自転車についてはクラスB、歩行者(人)ついてクラスPを設定する。そして、合成検出パターン31を4つのクラスV、M、B、Pのいずれかに分類する。
【0035】
図3は物体の反射点群のクラスを説明するための図であって、(a)は車両のクラスV、(b)はモータバイクのクラスM、(c)は自転車のクラスB、(d)は歩行者(人)のクラスPを示す。
【0036】
各クラスV、M、B、Pのパターンの形状を説明する。
【0037】
V:車両の水平面内における輪郭を示し、ほぼ矩形状のパターン形状である(図3(a))。
M:モータバイクの水平面内における輪郭を示し、細長い楕円形状のパターン形状である(図3(b))。
【0038】
B:自転車の水平面内における輪郭を示し、細長い楕円形状であるが、クラスMのパターン形状に比べて少し厚みが小さいパターン形状である(図3(c))。
【0039】
P:歩行者の足部分の種々の反射によるパターン形状である(図3(d))。
【0040】
そして、これらの各クラスV、M、B、Pの特徴パターンの形状と、各特徴パターンの画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度等の特徴量とが記憶部12に記憶される。
【0041】
この実施形態では、特徴量抽出部8は、合成検出パターン31の、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度、主軸、動き方向、自車両1との相対距離および相対位置などの特徴量を抽出する。そして、分類スコア算出部9は、抽出された特徴量に基づいて、記憶部12に記憶された特徴パターンと合成検出パターン31との照合を行い、合成検出パターン31のクラスを分類する。
【0042】
ところで、SVMは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。SVMは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ(学習サンプル)を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部8および分類スコア算出部9を分類器により形成し、特徴量抽出部8により、分類器から出力される分離超平面までの距離(以下、スコアという)に着目し、分類スコア算出部9のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、SVMの二値分類器をワン−アゲンスト−レスト(one−against−rest)法を用いて多値分類器に拡張する。また、学習サンプルには、図3で示した各クラスについて、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。
【0043】
分類スコア算出部9は、特徴量抽出部8のフレーム毎の抽出結果の合成検出パターン31の各特徴量が、各クラスの特徴パターンのいずれにもっとも近いかを判断して、合成検出パターン31に最も近い特徴パターンのクラスを特定し、フレーム毎に生成される合成検出パターン31を該当するクラスに分類する。さらに、例えば34フレーム(0.2秒)に亘って、同じ物体の合成検出パターン31について分類したクラスを累積し、累積結果を物体属性推定部10に送る。物体属性推定部10は、累積数が最も大きなクラスを、その合成検出パターン31のクラスに決定し、決定したクラスから属性を推定して物体を認識する。
【0044】
また、分類スコア算出部9によりクラスに分類した結果に基づき、物体属性推定部10によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して物体の認識を行ってもよく、複数フレームにおける分類スコア算出部9の分類結果に基づいて物体の認識を行ってもよい。すなわち、フレーム毎に物体を認識すれば、認識結果がフレーム毎に最高スコアとなったクラスから決定される。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、合成検出パターン31を最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考えられる。そこで、フレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体(カテゴリ)を認識してもよい。
【0045】
図4は認識処理部4の各部5〜10の処理手順の一例を示し、フレーム毎にレーザレーダ2の反射点群のデータを取得し(ステップS1)、クラスタリングの処理を施し(ステップS2)、クラスタにラベルを付す等して同じ物体を追跡する(ステップS3)。そして、直前のフレームにおける同じ物体の検出パターン30、または、前回までの複数のフレームにおける同じ物体の検出パターン30に基づく合成検出パターン31と、今回のフレームにおける同じ物体の検出パターン30とが重ねてつなぎ合わされて新たな合成検出パターン31を生成し(ステップS4)、ステップS4において生成された合成検出パターン31の各特徴量を抽出し(ステップS5)、SVMのパターン認識により、分類スコアを算出し(ステップS6)、対象物体の認識が行うことができなければ(ステップS7でNO)、次のフレームにおいてステップS1からの処理を繰り返し行い、対象物体の認識を行うことができれば(ステップS7でYES)、認識結果に応じた運転支援を行う(ステップS8)。
【0046】
以上のように、上記した実施形態によれば、複数フレームのレーザレーダ2による対象物体の反射の検出パターン30を重ねてつなぎ合わせることにより、対象物体の輪郭を明りょうに示す合成検出パターン31が生成されて、対象物体の形状を明りょうに示す合成検出パターン31に基づく、対象物体の形状およびサイズ、自車両1と対象物体との相対位置や相対速度、対象物体の動きのベクトルなどの特徴から、パターン認識が行われて対象物体の種別が識別されるため、物体の形状の一部を示す検出パターン30に基づいてパターン認識が行われるのに比べ、レーザレーダ2の反射の検出パターン30から車両、モータバイク、自転車、人(歩行者)等を区別して認識する認識精度の向上を図ることができる。
【0047】
また、複数フレームのレーザレーダ2による対象物体の反射の検出パターン30を重ねてつなぎ合わせて生成された、対象物体の輪郭を明りょうに示す合成検出パターン31に基づいてパターン認識が行われるため、物体の形状の一部を示す検出パターン30に基づいてパターン認識が行われるのに比べ、同一物体について形状の異なる複数のクラスを用意する必要がなく、また、合成検出パターン31が分類されるクラス数が少ないため、合成検出パターン31のクラス分類を容易に行うことができ、物体の識別時間の短縮を図ることができる。
【0048】
また、物体属性推定部10が認識した物体の情報が、認識処理部4から運転支援部11に送られ、運転支援部11は車両、モータバイク、歩行者(人)の別に応じた警報等の運転支援を行なうことができる。
【0049】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施形態に限るものではなく、また、物体として、上記したもの以外に種々の物体の特徴パターンを予め記憶部12に格納して物体を認識するようにしてもよい。また、パターン認識の手法は、SVMに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。
【0050】
また、車載レーダはレーザレーダ2に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、自車両1の後方や左右側を探査するものであってもよく、自車両1の全周を探査するものであってもよい。
【0051】
また、上記した例では物体の認識を行うことができるまで合成処理部7による複数の検出パターン30の合成を行っているが、複数の検出パターン30が合成されることにより生成される合成検出パターン31の形状がほぼ変化しなくなるまで、すなわち、合成検出パターン31の横幅および縦幅の大きさがほぼ一定となるまで、合成処理部7による複数の検出パターン30の合成を行ってもよい。
【0052】
つぎに、認識処理部4の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。
【0053】
そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。
【符号の説明】
【0054】
2 レーザレーダ(車載レーダ)
4 認識処理部(識別手段)
7 合成処理部(合成手段)
20 車両(物体)
30 検出パターン
31 合成検出パターン

【特許請求の範囲】
【請求項1】
車載レーダの反射の検出パターンに基づいて物体の種別を識別する物体認識装置であって、
複数フレームの前記車載レーダによる対象物体の反射の検出パターンをつなぎ合わせて合成検出パターンを生成する合成手段と、
前記合成検出パターンに基づいてパターン認識を行い前記対象物体の種別を識別する識別手段と
を備えたことを特徴とする物体認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2011−191227(P2011−191227A)
【公開日】平成23年9月29日(2011.9.29)
【国際特許分類】
【出願番号】特願2010−58757(P2010−58757)
【出願日】平成22年3月16日(2010.3.16)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】