物体認識装置
【課題】車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して精度よく認識する新規な物体認識装置を提供する。
【解決手段】特徴抽出部８、分類スコア算出部９により、フレーム毎のレーザレーダ２の反射の検出パターンを、物体毎に用意した複数の特徴パターンのいずれかに分類し、さらに、物体属性推定部１０により、段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を正確に認識する。
【解決手段】特徴抽出部８、分類スコア算出部９により、フレーム毎のレーザレーダ２の反射の検出パターンを、物体毎に用意した複数の特徴パターンのいずれかに分類し、さらに、物体属性推定部１０により、段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を正確に認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して認識する物体認識装置に関する。
【背景技術】
【０００２】
従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両（自動車）を認識するにとどまり、適用範囲が狭く、車両以外の障害物（自転車、歩行者等）も多く混在する複雑な交通環境には適用が困難である。
【０００３】
車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。
【０００４】
そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適応範囲を広げるのに大きく貢献する。
【０００５】
ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車（主にフレーム部分）や歩行者（主に足の部分）などでの反射も得られる。
【０００６】
そして、この種の車載レーダの反射のパターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群（クラスタ）の検出パターンが、設定したＬ、Ｉ、Ｏの３種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ステファン ウェンダー（Ｓｔｅｆａｎ Ｗｅｎｄｅｒ）、他３名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｌａｓｅｒｓｃａｎｎｅｒ Ｍｅａｓｕｒｅｍｅｎｔｓ ａｔ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｓｃｅｎａｒｉｏｓ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｐａｒａｍｅｔｅｒ Ｏｐｔｉｍｉｚａｔｉｏｎ）」、Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，２００５．Ｐｒｏｃｅｅｄｉｎｇｓ．ＩＥＥＥ、ＩＥＥＥ、２００５年６月、ｐ．９４−９９
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前記非特許文献１に記載の認識では、レーザレーダにより検出されたある時点の１フレームのクラスタの検出パターンから物体を推定して認識している。しかも、物体毎のパターン数が少ない（具体的には矩形形状、フェンスや壁、その他の形状の物体それぞれに対してＬ、Ｉ、Ｏの１つずつのパターン）。
【０００９】
これに対して、認識対象の物体が車両や自転車、人（歩行者）等の場合、それらの物体は、車載レーダに対して種々の方向（前後方向、横方向等）に移動し、車載レーダに対する向きや姿勢等が時間変化する。
【００１０】
そのため、前記非特許文献１に記載の認識では、車両や自転車、人等の多種類の物体のクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率（正答率）が極めて低くなる問題がある。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。
【００１１】
本発明は、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して精度よく認識する新規な物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明の物体認識装置は、車両に搭載された車載レーダと、前記車載レーダの反射の検出パターンを、パターン認識により物体別の複数の特徴パターンのいずれかに分類する分類手段と、複数フレームの前記パターン認識の分類結果を累積し、累積結果から前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴としている（請求項１）。
【００１３】
また、本発明の物体認識装置は、前記各特徴パターンが、物体毎に複数のクラスに分類されたパターンであり、前記各クラスのパターンは、物体それぞれの少なくとも前記車載レーダに対する向きが異なる特徴パターンであることが好ましい（請求項２）。
【００１４】
さらに、本発明の物体認識装置は、物体には自転車を含み、前記分類手段は、前記自転車の反射の検出パターンについては、複数フレーム間にペダルに相当する一部が所定以上変動することから、自転車の特徴パターンに分類することを特徴としている（請求項３）。
【発明の効果】
【００１５】
請求項１の発明の場合、分類手段により、フレーム毎の車載レーダの反射の検出パターンを、物体毎に用意した複数の特徴パターンのいずれかに分類することができる。さらに、識別手段により、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を認識できる。
【００１６】
したがって、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して精度よく認識する新規な物体認識装置を提供することができる。
【００１７】
請求項２の発明の場合、同一物体でも向きによって車載レーダの反射の検出パターンの形状が異なるが、各特徴パターンが各物体の車載レーダに対する異なる向きの複数のクラスのパターンであるため、車載レーダにより、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【００１８】
請求項３の発明の場合、車載レーダの反射の検出パターンが自転車の検出パターンである場合、自転車のペダル部分、すなわち反射の一部が大きく変化することに着目し、複数フレーム間にペダルに相当する一部が所定以上変動することから、同じ二輪車であるモータバイク（ブレーキやシフトチェンジの際に足首以下の部分が微小に変化する）と区別して自転車を精度よく認識することができる。そして、モータバイクと自転車とを区別して認識できると、例えば、自転車に対してはモータバイクよりも早目に警報を出力できる等の利点がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の車両のクラスの説明図である。
【図３】図１のモータバイクのクラスの説明図である。
【図４】図１の自転車のクラスの説明図である。
【図５】図１の歩行者（人）のクラスの説明図である。
【図６】図１の特徴量の説明図である。
【図７】実験例の各シーンの走行の説明図である。
【図８】実験結果の一部の説明図である。
【図９】実験結果の他の一部の説明図である。
【図１０】実験結果の他の一部の説明図である。
【図１１】実験結果の他の一部の説明図である。
【図１２】実験結果の他の一部の説明図である。
【図１３】実験結果の他の一部の説明図である。
【図１４】実験結果の他の一部の説明図である。
【図１５】実験例の走行状況の検出パタン例の説明図である。
【図１６】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００２０】
つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１６を参照して詳述する。
【００２１】
図１は車両（自車）１が備える本実施形態の物体認識装置の構成を示し、車載レーダとしてのレーザレーダ２は、車両１の前方のほぼ１８０°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などでの反射も得られる。 そして、レーザレーダ２は、例えば車両１のバンパーに取り付けられ、車両１の前方を例えば８０ｍＳ秒間隔のフレーム毎に探査し、前方の他の車両（自動車）、モータバイク、自転車、歩行者（人）等での反射波を受信し、各高さの水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部３に出力する。
【００２２】
受信処理部３は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部４のクラスタリング処理部５に送る。
【００２３】
クラスタリング処理部５は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ２から得られた各反射点の距離情報を水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者（人）等の物体を構成する点は離散的であるため、クラスタリング処理部５は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり（反射点群のクラスタ）にまとめ、前方の他の車両、モータバイク、自転車、歩行者（人）等でのフレーム毎の各反射点群の検出パターン（クラスタ）を物体追跡処理部６に出力する。
【００２４】
物体追跡処理部６はフレーム毎の検出パターンを記憶部７に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターンと直前のフレームの検出パターンとを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部７は書き換え自在のＲＡＭやフラッシュメモリ等からなる。
【００２５】
物体追跡処理部６によりラベルが付される等したフレーム毎の各検出パターンの情報は、特徴量抽出部８に送られる。各検出パターンの属性を認識するためには、それぞれの画像上の特徴を知る必要がある。そこで、特徴量抽出部８は、各検出パターンの特徴量を抽出して分類スコア算出部９に送る。
【００２６】
分類スコア算出部９は、例えば後述のＳＶＭ（Ｓｕｐｐｏｒｔ ＶｅｃｔｏｒＭａｃｈｉｎｅ）を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス（属するクラス）を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部１０に送り、物体属性推定部１０は複数フレームの時系列の分類結果から物体を推定して認識する。
【００２７】
ところで、本実施形態においては、レーザレーダ２から得られた距離データのみを用いたパターン認識により、車両（いわゆる自動車）、モータバイク（スクータ等も含む自動二輪車）、自転車、歩行者（人）の４種類の物体（障害物）を区別して認識する。これら４種類の物体は、同じ物体であっても車載レーダ２に対する位置や方向によって「形」が大きく異なり、その反射点群の検出パターンも大きく異なる。そこで、前記４種類の物体について可能な限り複数の特徴パターンを設定し、それらの特徴量から、各検出パターンを、最も近いパターンのクラスを求めてクラス分類し、その結果から属性（物体のカテゴリ）を推定して物体を認識する。さらに、とくに自転車の検出パターンは運転者のベタルを踏む足先の部分、すなわちペダル部分であり、この部分は、フレーム単位ではモータバイクと似ている状態が出現して誤認識が発生するが、ペダルを踏み込む足先が上下に大きく時間変化し、この点てモータバイクと大きく異なるので、本実施形態においては、前記検出パターンの各クラスの類似度の数値を累積して時系列変化（時間変化）を観測し、累積結果の類似度が最も高くなったクラス等から物体を推定して認識し、自転車の確実な認識も実現する。
【００２８】
前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコアー算出部９により、ＳＶＭを用いたパターン認識手法で行なう。ＳＶＭは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではＳＶＭの特徴であるマージン最大化を狙い、時系列累積分類スコア（超平面までの距離）を用いて自転車を認識する。
【００２９】
つぎに、クラスの定義と特徴について説明する。
【００３０】
認識する物体の種類は、前記したように車両、モータバイク、自転車、歩行者（人）の4種類であるが、それぞれの物体の反射点群のパターンを物体の位置や移動の方向等により可能な限り細かく分類するため、分類するクラス数を、例外的な歩行者（人）の場合を除いて、形状に異同があるパターン数とする。すなわち、車両については５クラスＶ１〜Ｖ５、モータバイクについては２クラスＭ１，Ｍ２、自転車についても２クラスＢ１、Ｂ２とし、歩行者（人）ついては１クラスＰ１とする。そして、検出パターンを合計１０クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のいずれかに分類する。
【００３１】
図２（ａ）〜（ｅ）は車両の５クラスＶ１〜Ｖ５の反射点群のパターンを示す。図３（ａ）、（ｂ）はモータバイクの２クラスＭ１、Ｍ２の反射点群のパターンを示す。図４（ａ）、（ｂ）は自転車の２クラスＢ１、Ｂ２の反射点群のパターンを示す。図５は歩行者（人）の１クラスＰ１の反射点群のパターンを示す。なお、図２〜図５の白丸印の各反射点群のパターンは図中の破線の物体（車両、モータバイク、自転車、又は歩行者）αが例えば破線矢印の方向に移動し、それを各図の位置の車載レーダ２で探査して得られたものである。
【００３２】
各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のパターンの形状および、そのようなパターンが発生するシーン（場面）について説明する。
【００３３】
Ｖ１：車両側面のみからの反射であって、横向きのＩ字のパターン形状である。車載レーダ２の前方を他の車両が横方向に通過する際にこのようなパターン形状になる（図２（ａ））。
【００３４】
Ｖ２：車両の前面又は後面からの反射であって、Ｕ字の形状である。他の車両が車載レーダ２の前方から接近してきた場合にこのようなパターン形状になる（図２（ｂ））。
【００３５】
Ｖ３：Ｖ２と同様の車両の前面又は後面からの反射であるが、Ｖ２とは車両の向きが異なり、パターンはコの字形状である。他の車両が車載レーダ２の側方から接近してきた場合にこのような形状になる（図２（ｃ））。
【００３６】
Ｖ４：車両の側面と、前面又は後面のいずれか一方とからの反射であり、他の車両が車載レーダ２の前方から接近してきた場合にこのような形状になる（図２（ｄ））。
【００３７】
Ｖ５：Ｖ４と同様、他の車両の側面と、前面又は後面のいずれか一方との反射であり、他車両が車載レーダ２の側方から接近してきた場合にこのような形状になる（図２（ｅ））。
【００３８】
Ｍ１：モータバイクの側面のみからの反射であり、横向きのＩ字の形状をしている。モータバイクが車載レーダ２の前方または側方に位置する場合にこのような形状となる（図３（ａ）。
【００３９】
Ｍ２：モータバイクの前面または後面からの反射であり．Ｖ字の形状をしている。モータバイクが車載レーダ２に背を向けている場合か、正面を向いている場合にこのような形状になる（図３（ｂ））。
【００４０】
Ｂ１：自転車の側面のみからの反射であり、横向きのＩ字の形状をしている。自転車が車載レーダ２の前方または側方に位置する場合にこのような形状になる（図４（ａ））。
【００４１】
Ｂ２：自転車の前面または後面からのペダル上の足先部分のあるタイミングの反射であり、Ｖ字の形状をしている。自転車が車載レーダ２に背を向けている場合又は、正面を向いている場合にこのような形状になる（図４（ｂ））。
【００４２】
Ｐ１：歩行者の足部分から種々の反射であり、これらの反射は歩く向きなどによりパターンの形状が少しずつ異なるが、それぞれの特徴に差異が見られないため、例外的に、歩行者（人）についてのこれらのパターンは同一クラスに属するとする（図５）。
【００４３】
つぎに、特徴量抽出部８が算出して抽出する上記各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のパターン（特徴パターン）の特徴量について説明する。
【００４４】
本実施形態においては、各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の特徴量として、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度に着目し、さらに主軸、動き方向も取り入れる。なお、例えば図２（ａ）のパターンの画像平面において、右下隅を原点とすると、横軸方向（ｘ方向）が幅、縦軸方向（ｙ方向）が奥行きである。
【００４５】
図６（ａ）〜（ｈ）は各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の基準のパターンの各特徴量を例示し、（ａ）が幅、（ｂ）が奥行き、（ｃ）が面積、（ｄ）が周囲、（ｅ）が慣性モーメント、（ｆ）が円形度（円形らしさ）、（ｇ）が主軸（画像の向き）、（ｈ）が動き方向（移動方向）の各特徴量である。
【００４６】
ところで、ＳＶＭは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。ＳＶＭは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ（学習サンプル）を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部８および分類スコア算出部９を分類器により形成し、特徴量抽出部８により、分類器から出力される分離超平面までの距離（以下、スコアという）に着目し、分類スコア算出部９のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、ＳＶＭの二値分類器をワン−アゲンスト−レスト（ｏｎｅ−ａｇａｉｎｓｔ−ｒｅｓｔ）法を用いて多値分類器に拡張する。また、学習サンプルには、図２〜図５で示した各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１について、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。具体的には、後述する実験例において、例えば計５３５個（Ｖ１について１５個、Ｖ２について２４個、Ｖ３について１０個、Ｖ４について３４個、Ｖ５について４５個、Ｍ１について６４個、Ｍ２について１９個、Ｂ１について２９個、Ｂ２について４７個、Ｐ１について２４１個）のパターンを使用した。
【００４７】
分類スコア算出部９は、特徴量抽出部８のフレーム毎の抽出結果の検出パターンの各特徴量が、各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の特徴パターンのいずれにもっとも近いかを判断して、検出パターンに最も近い特徴パターンのクラスを特定し、フレーム毎の検出パターンを該当するクラスに分類する。さらに、例えば３４フレーム（０．２秒）に亘って、同じクラスタについて分類したクラスを累積し、累積結果を物体属性推定部１０に送る。物体属性推定部１０は、累積数が最も大きなクラスを、その検出パターンのクラスに決定し、決定したクラスから属性を推定して物体およびそのシーンを認識する。なお、自転車については後述するように、ペダル部分（反射の一部）のスコアがしきい値以に大きく変化することに着目し、複数フレーム間にペダルに相当する一部のスコアが所定以上変動するか否かも監視して認識する。
【００４８】
つぎに、実験した具体的な認識結果を説明する。
【００４９】
［実験方法］
実験にはＳＶＭを用いた。クラス分類の学習サンプルには前記した計５３５個（Ｖ１について１５個、Ｖ２について２４個、Ｖ３について１０個、Ｖ４について３４個、Ｖ５について４５個、Ｍ１について６４個、Ｍ２について１９個、Ｂ１について２９個、Ｂ２について４７個、Ｐ１について２４１個）のパターンを使用した。
【００５０】
［実験シーン］
本実験では、つぎに説明するシーン１〜７の認識を行って評価した。
【００５１】
シーン１〜７について、状態、認識すべき正解のカテゴリ（物体）、該当するクラスを説明すると、つぎの表１に示すようになる。
【００５２】
【表１】
【００５３】
図７はシーン１〜７の物体の移動を示し、図中の各矢印線が物体の移動方向を示す。
【００５４】
［評価方法］
つぎの分離法１、２の２種類の認識結果について評価を行った。
【００５５】
（１）分類法１（比較例としてのフレーム毎の認識）
各シーンについて、分類スコア算出部９によりクラスに分類した結果に基づき、物体属性推定部１０によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して認識を行う方法であり、フレーム単位で完結する。この場合について、フレーム毎にクラス別の認識率とカテゴリ別の認識率を算出した。
【００５６】
なお、クラス別の認識率とは、クラスの正解フレーム数／全フレーム数で表したものである。このとき、ＳＶＭにより分類される各特徴のスコアが一番高いクラスを認識されたクラスとし、そのクラスが実際の（正解の）クラスと一致すれば正解のフレームとして検証した。したがって、例えばＶ１をＶ５と誤認識すれば、カテゴリが正解であってもクラスとしては不正解のフレームとなる。
【００５７】
また、カテゴリ別の認識率は，カテゴリの正解フレーム数／前フレーム数で表わしたものである。クラス別の認識率同様にスコアが一番高いクラスを認識されたクラスとするが、例えば、Ｖ１をＶ５と誤認識した場合でも、車両（Ｖｅｈｉｃｌｅ）というカテゴリが正しければ、正解フレームとなる。
【００５８】
（２）分類法２（本実施形態の複数フレームの観測結果の認識）
分類法１では、認識結果がフレーム毎に最高スコアとなったクラスから決定されてしまう。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、検出パターンを最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考え得られる。そこで、分類法２ではフレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体（カテゴリ）を認識した。また、Ｂ１、Ｂ２の自転車については、さらに、ペダル部分（反射の一部）のスコアが設定したしきい値以に大きく変化することに着目し、複数フレーム間にペダルに相当する一部のスコアが所定値（前記しきい値）以上変動するか否かも監視し、ペダルに相当する一部のスコアが所定値以上変動することからモータバイクと区別して認識する。
【００５９】
［実験結果］
＜各シーンでの認識率＞
各シーンでの分類法１のクラス別、カテゴリ別の認識結果および、各シーンでの分類法２の認識結果を、つぎの表２に示す。
【００６０】
【表２】
【００６１】
なお、表２の分類法２の結果においては、各シーンでの累積値で最高スコアのクラスのカテゴリが正解のカテゴリであれば白丸、そうでなければ×で評価している。
【００６２】
表２の各シーンにおける詳細な結果について説明する。
【００６３】
図８〜図１４は、シーン１〜７の分類法１、２の結果を示し、それぞれの（ａ）は分類法１のフレーム毎の分類結果（各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のる類似度分類結果を表し、横軸はフレーム、縦軸は分類したクラスを表す。（ｂ）は分類法２の累積スコアの推移（フレーム変化）を表し、横軸はフレーム、縦軸はスコアの累積値を表す。また、各図の実線が正解値（Ｔｒｕｅ Ｖａｌｕｅ）、白丸が横に２つ繋がったマークが認識結果として選択されたクラスである。
【００６４】
＜図８のシーン1＞
Ｖ２と認識されるべき前半のフレームではＶ２の累積値が一番高く、それ以降はＶ４の累積値が伸びている。分類法１ではＶ２がＶ５、Ｖ７などに誤認識されていたフレームもあり、クラス別認識率が６１パーセントと低い。これに対して、カテゴリ別認識率では、分類法２を用いることで、終始、正解の車両のカテゴリに認識される（図８（ａ）、（ｂ））。
【００６５】
＜図９のシーン２＞
Ｖ５，Ｖ３，Ｖ１が混在するシーンであるが，分類法１ではクラス別で認識率が５６パーセントと誤認識が低い。分類法１でもカテゴリ別では９０パーセントと認識率は上がるが、さらに、分類法２を用いることで、より一層確実に車両のカテゴリに認識されることが分かる。Ｖ５クラスの累積が非常に大きく、Ｖ３、Ｖ１ののびは目立たないが、累積値はのびている（図９（ａ），（ｂ））。
【００６６】
＜図１０のシーン３＞
分類法１での認識率はＭ１がＢ１に誤認識され認識率５０パーセントだったが、分類法２を用いることで、４７フレーム目まではＢ１の累積値が高いが、それ以降はＭ１がＢ１のスコアを追い越し、最終的に正解のカテゴリに認識される（図１０（ａ），（ｂ））。
【００６７】
＜図１１のシーン４＞
分類法１では認識率が５０パーセント前後であったが、分類法２では初期の１０フレームまではＭ２の累積値が高く、それ以降はＢ２がＭ２のスコアを追い越し、正解のカテゴリに認識される（図１１（ａ）、（ｂ））。
【００６８】
＜図１２のシーン５＞
分類法１では正解率が低い。分類法２でも、８５フレーム目までは正解のＢ２の累積値が高いが、それ以降はＰ１に追い越されて認識率が下がった。これは、自転車が遠ざかり、反射点が少なくなったため歩行者と間違えたと思われる（図１２（ａ）、（ｂ））。
【００６９】
＜図１３、図１４のシーン６、７＞
分類法２で歩行者シーンは終始正解のクラス１０の累積値が高かった。このシーンでも分類法１では誤認識されたフレームが発生したが、分類法２を用いることで正解のカテゴリに認識された（図１３（ａ）、（ｂ）、図１４（ａ）、（ｂ））。
【００７０】
図１５は歩行者（クラスＰ１）と車両（クラスＶ４）が車両１の前方から接近し、モータバイク（Ｍ１）が側方から車両１の前を通過している状況例の検出パターンを示す。
【００７１】
図１６は認識処理部４の各部５〜１０の処理手順の一例を示し、フレーム毎にレーザレーダ２の反射点群のデータを取得し（ステップＳ１）、クラスタリングの処理を施し（ステップＳ２）、クラスタのラベルを付す等して同じ物体を追跡し（ステップＳ３）、そのフレームのクラスタそれぞれの各特徴量を抽出し（ステップＳ４）、ＳＶＭのパターン認識により、分類スコアを算出し（ステップＳ５）、例えばＮ＝３４フレームに亘って同じ物体の分類スコアを累積する（ステップＳ６、Ｓ７）。そして、その累積結果から物体を認識する（ステップＳ８）。
【００７２】
上記実験により、同一物体においても位置などにより形状が異なる事からクラス分類を細かくし、 分類においてはＳＶＭから出力されるスコア(分離超平面までの距離)を時系列に観測することにより、フレーム毎の瞬時のクラス認識率とカテゴリ認識率では認識率が低くなるシーンにおいても、スコアの累積値を観測することで、高い認識率で認識できることが確かめられた。
【００７３】
そして、表２および上記の実験結果からも明らかなように、本実施形態の場合は、特徴抽出部８、分類スコア算出部９が形成する本発明の分類手段により、フレーム毎のレーザレーダ２の反射の検出パターンを、物体毎にＳＶＭのパターン学習により用意した各クラスの特徴パターンのいずれかに分類することができ、さらに、物体属性推定部手１０が形成する識別手段により、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を認識できる。すなわち、同一物体でも向きによってレーザレーダ２の反射の検出パターンの形状が異なるが、各特徴パターンは各物体のレーザレーダ２に対する異なる向きの複数のクラスのパターンになるので、レーザレーダ２により、ある物体がフレームによって異なった向きで検出されたとしても、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【００７４】
さらに、レーザレーダ２の反射の検出パターンが自転車の検出パターンである場合、自転車のペダル部分（反射の一部）が大きく変化することに着目し、複数フレーム間にペダルに相当する一部が前記所定以上変動することから、同じ二輪車であるモータバイク（ブレーキやシフトチェンジの際に足首以下の部分が微小に変化する）と区別して自転車を精度よく認識することができる。
【００７５】
そして、物体属性推定部１０が認識した物体の情報が、認識処理部４から運転支援部１１に送られ、運転支援部１１は車両、モータバイク、自転車、歩行者（人）の別に応じた警報等の運転支援を行なう。このとき、とくにモータバイクと自転車とを区別して認識できると、例えば、自転車に対してはモータバイクよりも早目に警報を出力できる等の利点がある。
【００７６】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施例に限るものではない。また、パターン認識の手法は、ＳＶＭに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。
【００７７】
つぎに、車載レーダはレーザレーダ２に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、車両１の後方や左右側を探査するものであってもよく、車両１の全周を探査するものであってもよい。
【００７８】
つぎに、認識処理部４の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。
【００７９】
そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。
【符号の説明】
【００８０】
１ 車両
２ レーザレーダ
４ 認識処理部
８ 特徴抽出部
９ 分類スコア算出部
１０ 物体属性推定部
【技術分野】
【０００１】
この発明は、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して認識する物体認識装置に関する。
【背景技術】
【０００２】
従来、車両の分野においては、様々な予防安全技術の研究開発が行われており、前方衝突被害軽減システムや後側方警報システムなどの種々の予防安全システムが実用化されている。しかしながら、これらの従来システムはいずれも車両（自動車）を認識するにとどまり、適用範囲が狭く、車両以外の障害物（自転車、歩行者等）も多く混在する複雑な交通環境には適用が困難である。
【０００３】
車両等の障害物の認識は、車載カメラを用いた画像処理で行なうことも可能であるが、そのためにカメラを用意する必要がある。一方、レーザレーダに代表される車載レーダは、測距レーダ等として車両に搭載されることが多く、車載レーダを用いて車両等の障害物を認識することがより実用的で安価である。
【０００４】
そして、車載レーダの反射の検出パターンから車両、自転車、歩行者等の様々な物体を区別して認識することができれば、前記の複雑な交通環境において極めて有用であり、前記の予防安全システムの適応範囲を広げるのに大きく貢献する。
【０００５】
ところで、近年の車載レーダの性能は著しく向上しており、例えばレーザレーダの場合、従来は、主に車両のリフレクタでの反射しか得られなかったが、近年は、近赤外線を利用すること等により、自転車（主にフレーム部分）や歩行者（主に足の部分）などでの反射も得られる。
【０００６】
そして、この種の車載レーダの反射のパターンから物体を認識する方法として、従来、車載レーダとしてのレーザレーダにより検出されたある時点の反射点群（クラスタ）の検出パターンが、設定したＬ、Ｉ、Ｏの３種類のパターンのいずれに属するかによって、認識対象の物体が矩形形状、フェンスや壁、その他の形状のいずれの種類の物体であるかを区別して推定し、認識することが提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ステファン ウェンダー（Ｓｔｅｆａｎ Ｗｅｎｄｅｒ）、他３名、「クラシフィケーション オブ レーザースキャナー メジャーメンツ アット インターセクション シナリオズ ウイズ オートマティク パラメータ オプティマイゼーション（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｌａｓｅｒｓｃａｎｎｅｒ Ｍｅａｓｕｒｅｍｅｎｔｓ ａｔ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｓｃｅｎａｒｉｏｓ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｐａｒａｍｅｔｅｒ Ｏｐｔｉｍｉｚａｔｉｏｎ）」、Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，２００５．Ｐｒｏｃｅｅｄｉｎｇｓ．ＩＥＥＥ、ＩＥＥＥ、２００５年６月、ｐ．９４−９９
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前記非特許文献１に記載の認識では、レーザレーダにより検出されたある時点の１フレームのクラスタの検出パターンから物体を推定して認識している。しかも、物体毎のパターン数が少ない（具体的には矩形形状、フェンスや壁、その他の形状の物体それぞれに対してＬ、Ｉ、Ｏの１つずつのパターン）。
【０００９】
これに対して、認識対象の物体が車両や自転車、人（歩行者）等の場合、それらの物体は、車載レーダに対して種々の方向（前後方向、横方向等）に移動し、車載レーダに対する向きや姿勢等が時間変化する。
【００１０】
そのため、前記非特許文献１に記載の認識では、車両や自転車、人等の多種類の物体のクラスタの検出パターンを的確に該当する物体のパターンに区分することができず、物体の種別の認識率（正答率）が極めて低くなる問題がある。なお、物体の種別を正確に識別できれば、認識した物体に応じて警報タイミングを異ならせる等の最適な運転支援が実現する。
【００１１】
本発明は、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して精度よく認識する新規な物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明の物体認識装置は、車両に搭載された車載レーダと、前記車載レーダの反射の検出パターンを、パターン認識により物体別の複数の特徴パターンのいずれかに分類する分類手段と、複数フレームの前記パターン認識の分類結果を累積し、累積結果から前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴としている（請求項１）。
【００１３】
また、本発明の物体認識装置は、前記各特徴パターンが、物体毎に複数のクラスに分類されたパターンであり、前記各クラスのパターンは、物体それぞれの少なくとも前記車載レーダに対する向きが異なる特徴パターンであることが好ましい（請求項２）。
【００１４】
さらに、本発明の物体認識装置は、物体には自転車を含み、前記分類手段は、前記自転車の反射の検出パターンについては、複数フレーム間にペダルに相当する一部が所定以上変動することから、自転車の特徴パターンに分類することを特徴としている（請求項３）。
【発明の効果】
【００１５】
請求項１の発明の場合、分類手段により、フレーム毎の車載レーダの反射の検出パターンを、物体毎に用意した複数の特徴パターンのいずれかに分類することができる。さらに、識別手段により、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を認識できる。
【００１６】
したがって、車載レーダの反射の検出パターンから車両、自転車、人（歩行者）等を区別して精度よく認識する新規な物体認識装置を提供することができる。
【００１７】
請求項２の発明の場合、同一物体でも向きによって車載レーダの反射の検出パターンの形状が異なるが、各特徴パターンが各物体の車載レーダに対する異なる向きの複数のクラスのパターンであるため、車載レーダにより、ある物体がフレームによって異なった向きで検出されたとしても、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【００１８】
請求項３の発明の場合、車載レーダの反射の検出パターンが自転車の検出パターンである場合、自転車のペダル部分、すなわち反射の一部が大きく変化することに着目し、複数フレーム間にペダルに相当する一部が所定以上変動することから、同じ二輪車であるモータバイク（ブレーキやシフトチェンジの際に足首以下の部分が微小に変化する）と区別して自転車を精度よく認識することができる。そして、モータバイクと自転車とを区別して認識できると、例えば、自転車に対してはモータバイクよりも早目に警報を出力できる等の利点がある。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態のブロック図である。
【図２】図１の車両のクラスの説明図である。
【図３】図１のモータバイクのクラスの説明図である。
【図４】図１の自転車のクラスの説明図である。
【図５】図１の歩行者（人）のクラスの説明図である。
【図６】図１の特徴量の説明図である。
【図７】実験例の各シーンの走行の説明図である。
【図８】実験結果の一部の説明図である。
【図９】実験結果の他の一部の説明図である。
【図１０】実験結果の他の一部の説明図である。
【図１１】実験結果の他の一部の説明図である。
【図１２】実験結果の他の一部の説明図である。
【図１３】実験結果の他の一部の説明図である。
【図１４】実験結果の他の一部の説明図である。
【図１５】実験例の走行状況の検出パタン例の説明図である。
【図１６】図１の動作説明用のフローチャートである。
【発明を実施するための形態】
【００２０】
つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１６を参照して詳述する。
【００２１】
図１は車両（自車）１が備える本実施形態の物体認識装置の構成を示し、車載レーダとしてのレーザレーダ２は、車両１の前方のほぼ１８０°の範囲を探査する広角の測距レーダであり、近赤外線を利用すること等により、自転車や歩行者などでの反射も得られる。 そして、レーザレーダ２は、例えば車両１のバンパーに取り付けられ、車両１の前方を例えば８０ｍＳ秒間隔のフレーム毎に探査し、前方の他の車両（自動車）、モータバイク、自転車、歩行者（人）等での反射波を受信し、各高さの水平断面での前方の移動物体の距離データを取得し、この距離データを反射波の受信出力として受信処理部３に出力する。
【００２２】
受信処理部３は、前記距離データを受け取ってマイクロコンピュータ構成の認識処理部４のクラスタリング処理部５に送る。
【００２３】
クラスタリング処理部５は、前記受信出力の各反射点の距離データ等に基づき、レーザレーダ２から得られた各反射点の距離情報を水平面上にプロットして反射点の画像を形成する。そして、前方の他の車両、モータバイク、自転車、歩行者（人）等の物体を構成する点は離散的であるため、クラスタリング処理部５は、例えば周知のモルフォロジー演算を用いて近傍の各反射点を連結して、近傍の反射点同士をかたまり（反射点群のクラスタ）にまとめ、前方の他の車両、モータバイク、自転車、歩行者（人）等でのフレーム毎の各反射点群の検出パターン（クラスタ）を物体追跡処理部６に出力する。
【００２４】
物体追跡処理部６はフレーム毎の検出パターンを記憶部７に一時記憶し、例えば、新たなフレームの反射が得られる毎に、その反射の各検出パターンと直前のフレームの検出パターンとを比較して同じクラスタのパターンか否かを判断し、例えば、検出パターン別にラベルを付す。なお、記憶部７は書き換え自在のＲＡＭやフラッシュメモリ等からなる。
【００２５】
物体追跡処理部６によりラベルが付される等したフレーム毎の各検出パターンの情報は、特徴量抽出部８に送られる。各検出パターンの属性を認識するためには、それぞれの画像上の特徴を知る必要がある。そこで、特徴量抽出部８は、各検出パターンの特徴量を抽出して分類スコア算出部９に送る。
【００２６】
分類スコア算出部９は、例えば後述のＳＶＭ（Ｓｕｐｐｏｒｔ ＶｅｃｔｏｒＭａｃｈｉｎｅ）を用いたパターン認識手法により、特徴量の類似度から検出パターンの各クラスの特徴パターンに対する類似度の数値を算出し、検出パターンに最も近い特徴パターンのクラス（属するクラス）を最も近い特徴パターンとして分類し、毎フレームの分類結果を物体属性推定部１０に送り、物体属性推定部１０は複数フレームの時系列の分類結果から物体を推定して認識する。
【００２７】
ところで、本実施形態においては、レーザレーダ２から得られた距離データのみを用いたパターン認識により、車両（いわゆる自動車）、モータバイク（スクータ等も含む自動二輪車）、自転車、歩行者（人）の４種類の物体（障害物）を区別して認識する。これら４種類の物体は、同じ物体であっても車載レーダ２に対する位置や方向によって「形」が大きく異なり、その反射点群の検出パターンも大きく異なる。そこで、前記４種類の物体について可能な限り複数の特徴パターンを設定し、それらの特徴量から、各検出パターンを、最も近いパターンのクラスを求めてクラス分類し、その結果から属性（物体のカテゴリ）を推定して物体を認識する。さらに、とくに自転車の検出パターンは運転者のベタルを踏む足先の部分、すなわちペダル部分であり、この部分は、フレーム単位ではモータバイクと似ている状態が出現して誤認識が発生するが、ペダルを踏み込む足先が上下に大きく時間変化し、この点てモータバイクと大きく異なるので、本実施形態においては、前記検出パターンの各クラスの類似度の数値を累積して時系列変化（時間変化）を観測し、累積結果の類似度が最も高くなったクラス等から物体を推定して認識し、自転車の確実な認識も実現する。
【００２８】
前記パターン認識は、どのような認識手法で行なってもよいが、本実施形態においては、分類スコアー算出部９により、ＳＶＭを用いたパターン認識手法で行なう。ＳＶＭは高い汎化能力を持つことが知られている。そして、前記した時系列変化の認識ではＳＶＭの特徴であるマージン最大化を狙い、時系列累積分類スコア（超平面までの距離）を用いて自転車を認識する。
【００２９】
つぎに、クラスの定義と特徴について説明する。
【００３０】
認識する物体の種類は、前記したように車両、モータバイク、自転車、歩行者（人）の4種類であるが、それぞれの物体の反射点群のパターンを物体の位置や移動の方向等により可能な限り細かく分類するため、分類するクラス数を、例外的な歩行者（人）の場合を除いて、形状に異同があるパターン数とする。すなわち、車両については５クラスＶ１〜Ｖ５、モータバイクについては２クラスＭ１，Ｍ２、自転車についても２クラスＢ１、Ｂ２とし、歩行者（人）ついては１クラスＰ１とする。そして、検出パターンを合計１０クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のいずれかに分類する。
【００３１】
図２（ａ）〜（ｅ）は車両の５クラスＶ１〜Ｖ５の反射点群のパターンを示す。図３（ａ）、（ｂ）はモータバイクの２クラスＭ１、Ｍ２の反射点群のパターンを示す。図４（ａ）、（ｂ）は自転車の２クラスＢ１、Ｂ２の反射点群のパターンを示す。図５は歩行者（人）の１クラスＰ１の反射点群のパターンを示す。なお、図２〜図５の白丸印の各反射点群のパターンは図中の破線の物体（車両、モータバイク、自転車、又は歩行者）αが例えば破線矢印の方向に移動し、それを各図の位置の車載レーダ２で探査して得られたものである。
【００３２】
各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のパターンの形状および、そのようなパターンが発生するシーン（場面）について説明する。
【００３３】
Ｖ１：車両側面のみからの反射であって、横向きのＩ字のパターン形状である。車載レーダ２の前方を他の車両が横方向に通過する際にこのようなパターン形状になる（図２（ａ））。
【００３４】
Ｖ２：車両の前面又は後面からの反射であって、Ｕ字の形状である。他の車両が車載レーダ２の前方から接近してきた場合にこのようなパターン形状になる（図２（ｂ））。
【００３５】
Ｖ３：Ｖ２と同様の車両の前面又は後面からの反射であるが、Ｖ２とは車両の向きが異なり、パターンはコの字形状である。他の車両が車載レーダ２の側方から接近してきた場合にこのような形状になる（図２（ｃ））。
【００３６】
Ｖ４：車両の側面と、前面又は後面のいずれか一方とからの反射であり、他の車両が車載レーダ２の前方から接近してきた場合にこのような形状になる（図２（ｄ））。
【００３７】
Ｖ５：Ｖ４と同様、他の車両の側面と、前面又は後面のいずれか一方との反射であり、他車両が車載レーダ２の側方から接近してきた場合にこのような形状になる（図２（ｅ））。
【００３８】
Ｍ１：モータバイクの側面のみからの反射であり、横向きのＩ字の形状をしている。モータバイクが車載レーダ２の前方または側方に位置する場合にこのような形状となる（図３（ａ）。
【００３９】
Ｍ２：モータバイクの前面または後面からの反射であり．Ｖ字の形状をしている。モータバイクが車載レーダ２に背を向けている場合か、正面を向いている場合にこのような形状になる（図３（ｂ））。
【００４０】
Ｂ１：自転車の側面のみからの反射であり、横向きのＩ字の形状をしている。自転車が車載レーダ２の前方または側方に位置する場合にこのような形状になる（図４（ａ））。
【００４１】
Ｂ２：自転車の前面または後面からのペダル上の足先部分のあるタイミングの反射であり、Ｖ字の形状をしている。自転車が車載レーダ２に背を向けている場合又は、正面を向いている場合にこのような形状になる（図４（ｂ））。
【００４２】
Ｐ１：歩行者の足部分から種々の反射であり、これらの反射は歩く向きなどによりパターンの形状が少しずつ異なるが、それぞれの特徴に差異が見られないため、例外的に、歩行者（人）についてのこれらのパターンは同一クラスに属するとする（図５）。
【００４３】
つぎに、特徴量抽出部８が算出して抽出する上記各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のパターン（特徴パターン）の特徴量について説明する。
【００４４】
本実施形態においては、各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の特徴量として、画像処理上の形状に関わる幅、奥行き、面積、周囲、慣性モーメント、円形度に着目し、さらに主軸、動き方向も取り入れる。なお、例えば図２（ａ）のパターンの画像平面において、右下隅を原点とすると、横軸方向（ｘ方向）が幅、縦軸方向（ｙ方向）が奥行きである。
【００４５】
図６（ａ）〜（ｈ）は各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の基準のパターンの各特徴量を例示し、（ａ）が幅、（ｂ）が奥行き、（ｃ）が面積、（ｄ）が周囲、（ｅ）が慣性モーメント、（ｆ）が円形度（円形らしさ）、（ｇ）が主軸（画像の向き）、（ｈ）が動き方向（移動方向）の各特徴量である。
【００４６】
ところで、ＳＶＭは教師あり学習を用いるパターン認識手法の一つであり、高次元の分類問題が得意といわれている。ＳＶＭは超平面とそれに最も近いデータとの距離(マージン)を最大化するように、訓練データ（学習サンプル）を分離する分離超平面を求める手法で未学習のサンプルに対しても高い認識性能を得ることができる。そこで、本実施形態においては、特徴量抽出部８および分類スコア算出部９を分類器により形成し、特徴量抽出部８により、分類器から出力される分離超平面までの距離（以下、スコアという）に着目し、分類スコア算出部９のパターン認識に必要な検出パターンの各特徴量につき、複数の学習サンプルのパターンの各特徴量を学習して未学習の前記検出パターンの各特徴量のスコアを検出する。なお、前記分類器は、ＳＶＭの二値分類器をワン−アゲンスト−レスト（ｏｎｅ−ａｇａｉｎｓｔ−ｒｅｓｔ）法を用いて多値分類器に拡張する。また、学習サンプルには、図２〜図５で示した各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１について、それぞれのクラスに属すると判断する種々の反射点群のパターンから選択した複数のパターンを使用するものとする。具体的には、後述する実験例において、例えば計５３５個（Ｖ１について１５個、Ｖ２について２４個、Ｖ３について１０個、Ｖ４について３４個、Ｖ５について４５個、Ｍ１について６４個、Ｍ２について１９個、Ｂ１について２９個、Ｂ２について４７個、Ｐ１について２４１個）のパターンを使用した。
【００４７】
分類スコア算出部９は、特徴量抽出部８のフレーム毎の抽出結果の検出パターンの各特徴量が、各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１の特徴パターンのいずれにもっとも近いかを判断して、検出パターンに最も近い特徴パターンのクラスを特定し、フレーム毎の検出パターンを該当するクラスに分類する。さらに、例えば３４フレーム（０．２秒）に亘って、同じクラスタについて分類したクラスを累積し、累積結果を物体属性推定部１０に送る。物体属性推定部１０は、累積数が最も大きなクラスを、その検出パターンのクラスに決定し、決定したクラスから属性を推定して物体およびそのシーンを認識する。なお、自転車については後述するように、ペダル部分（反射の一部）のスコアがしきい値以に大きく変化することに着目し、複数フレーム間にペダルに相当する一部のスコアが所定以上変動するか否かも監視して認識する。
【００４８】
つぎに、実験した具体的な認識結果を説明する。
【００４９】
［実験方法］
実験にはＳＶＭを用いた。クラス分類の学習サンプルには前記した計５３５個（Ｖ１について１５個、Ｖ２について２４個、Ｖ３について１０個、Ｖ４について３４個、Ｖ５について４５個、Ｍ１について６４個、Ｍ２について１９個、Ｂ１について２９個、Ｂ２について４７個、Ｐ１について２４１個）のパターンを使用した。
【００５０】
［実験シーン］
本実験では、つぎに説明するシーン１〜７の認識を行って評価した。
【００５１】
シーン１〜７について、状態、認識すべき正解のカテゴリ（物体）、該当するクラスを説明すると、つぎの表１に示すようになる。
【００５２】
【表１】
【００５３】
図７はシーン１〜７の物体の移動を示し、図中の各矢印線が物体の移動方向を示す。
【００５４】
［評価方法］
つぎの分離法１、２の２種類の認識結果について評価を行った。
【００５５】
（１）分類法１（比較例としてのフレーム毎の認識）
各シーンについて、分類スコア算出部９によりクラスに分類した結果に基づき、物体属性推定部１０によりフレーム毎にそのフレームで検出したクラスからカテゴリ別に分類して認識を行う方法であり、フレーム単位で完結する。この場合について、フレーム毎にクラス別の認識率とカテゴリ別の認識率を算出した。
【００５６】
なお、クラス別の認識率とは、クラスの正解フレーム数／全フレーム数で表したものである。このとき、ＳＶＭにより分類される各特徴のスコアが一番高いクラスを認識されたクラスとし、そのクラスが実際の（正解の）クラスと一致すれば正解のフレームとして検証した。したがって、例えばＶ１をＶ５と誤認識すれば、カテゴリが正解であってもクラスとしては不正解のフレームとなる。
【００５７】
また、カテゴリ別の認識率は，カテゴリの正解フレーム数／前フレーム数で表わしたものである。クラス別の認識率同様にスコアが一番高いクラスを認識されたクラスとするが、例えば、Ｖ１をＶ５と誤認識した場合でも、車両（Ｖｅｈｉｃｌｅ）というカテゴリが正しければ、正解フレームとなる。
【００５８】
（２）分類法２（本実施形態の複数フレームの観測結果の認識）
分類法１では、認識結果がフレーム毎に最高スコアとなったクラスから決定されてしまう。これでは、例えば最高スコアと同程度に高いクラスが正解のクラスになる場合、そのクラスが正解であるにもかかわらず、検出パターンを最高スコアのクラスに分類して誤認識する可能性がある。つまり、分類データの特徴によってはフレーム毎の最高スコアを用いるだけでは不十分で、認識精度を高めるにはその他のスコアも考慮して認識する必要があると考え得られる。そこで、分類法２ではフレーム毎に算出される各クラスに対するスコアを時系列に観測し、最終的に累積スコアが最も大きくなったクラスから物体（カテゴリ）を認識した。また、Ｂ１、Ｂ２の自転車については、さらに、ペダル部分（反射の一部）のスコアが設定したしきい値以に大きく変化することに着目し、複数フレーム間にペダルに相当する一部のスコアが所定値（前記しきい値）以上変動するか否かも監視し、ペダルに相当する一部のスコアが所定値以上変動することからモータバイクと区別して認識する。
【００５９】
［実験結果］
＜各シーンでの認識率＞
各シーンでの分類法１のクラス別、カテゴリ別の認識結果および、各シーンでの分類法２の認識結果を、つぎの表２に示す。
【００６０】
【表２】
【００６１】
なお、表２の分類法２の結果においては、各シーンでの累積値で最高スコアのクラスのカテゴリが正解のカテゴリであれば白丸、そうでなければ×で評価している。
【００６２】
表２の各シーンにおける詳細な結果について説明する。
【００６３】
図８〜図１４は、シーン１〜７の分類法１、２の結果を示し、それぞれの（ａ）は分類法１のフレーム毎の分類結果（各クラスＶ１〜Ｖ５、Ｍ１、Ｍ２、Ｂ１、Ｂ２、Ｐ１のる類似度分類結果を表し、横軸はフレーム、縦軸は分類したクラスを表す。（ｂ）は分類法２の累積スコアの推移（フレーム変化）を表し、横軸はフレーム、縦軸はスコアの累積値を表す。また、各図の実線が正解値（Ｔｒｕｅ Ｖａｌｕｅ）、白丸が横に２つ繋がったマークが認識結果として選択されたクラスである。
【００６４】
＜図８のシーン1＞
Ｖ２と認識されるべき前半のフレームではＶ２の累積値が一番高く、それ以降はＶ４の累積値が伸びている。分類法１ではＶ２がＶ５、Ｖ７などに誤認識されていたフレームもあり、クラス別認識率が６１パーセントと低い。これに対して、カテゴリ別認識率では、分類法２を用いることで、終始、正解の車両のカテゴリに認識される（図８（ａ）、（ｂ））。
【００６５】
＜図９のシーン２＞
Ｖ５，Ｖ３，Ｖ１が混在するシーンであるが，分類法１ではクラス別で認識率が５６パーセントと誤認識が低い。分類法１でもカテゴリ別では９０パーセントと認識率は上がるが、さらに、分類法２を用いることで、より一層確実に車両のカテゴリに認識されることが分かる。Ｖ５クラスの累積が非常に大きく、Ｖ３、Ｖ１ののびは目立たないが、累積値はのびている（図９（ａ），（ｂ））。
【００６６】
＜図１０のシーン３＞
分類法１での認識率はＭ１がＢ１に誤認識され認識率５０パーセントだったが、分類法２を用いることで、４７フレーム目まではＢ１の累積値が高いが、それ以降はＭ１がＢ１のスコアを追い越し、最終的に正解のカテゴリに認識される（図１０（ａ），（ｂ））。
【００６７】
＜図１１のシーン４＞
分類法１では認識率が５０パーセント前後であったが、分類法２では初期の１０フレームまではＭ２の累積値が高く、それ以降はＢ２がＭ２のスコアを追い越し、正解のカテゴリに認識される（図１１（ａ）、（ｂ））。
【００６８】
＜図１２のシーン５＞
分類法１では正解率が低い。分類法２でも、８５フレーム目までは正解のＢ２の累積値が高いが、それ以降はＰ１に追い越されて認識率が下がった。これは、自転車が遠ざかり、反射点が少なくなったため歩行者と間違えたと思われる（図１２（ａ）、（ｂ））。
【００６９】
＜図１３、図１４のシーン６、７＞
分類法２で歩行者シーンは終始正解のクラス１０の累積値が高かった。このシーンでも分類法１では誤認識されたフレームが発生したが、分類法２を用いることで正解のカテゴリに認識された（図１３（ａ）、（ｂ）、図１４（ａ）、（ｂ））。
【００７０】
図１５は歩行者（クラスＰ１）と車両（クラスＶ４）が車両１の前方から接近し、モータバイク（Ｍ１）が側方から車両１の前を通過している状況例の検出パターンを示す。
【００７１】
図１６は認識処理部４の各部５〜１０の処理手順の一例を示し、フレーム毎にレーザレーダ２の反射点群のデータを取得し（ステップＳ１）、クラスタリングの処理を施し（ステップＳ２）、クラスタのラベルを付す等して同じ物体を追跡し（ステップＳ３）、そのフレームのクラスタそれぞれの各特徴量を抽出し（ステップＳ４）、ＳＶＭのパターン認識により、分類スコアを算出し（ステップＳ５）、例えばＮ＝３４フレームに亘って同じ物体の分類スコアを累積する（ステップＳ６、Ｓ７）。そして、その累積結果から物体を認識する（ステップＳ８）。
【００７２】
上記実験により、同一物体においても位置などにより形状が異なる事からクラス分類を細かくし、 分類においてはＳＶＭから出力されるスコア(分離超平面までの距離)を時系列に観測することにより、フレーム毎の瞬時のクラス認識率とカテゴリ認識率では認識率が低くなるシーンにおいても、スコアの累積値を観測することで、高い認識率で認識できることが確かめられた。
【００７３】
そして、表２および上記の実験結果からも明らかなように、本実施形態の場合は、特徴抽出部８、分類スコア算出部９が形成する本発明の分類手段により、フレーム毎のレーザレーダ２の反射の検出パターンを、物体毎にＳＶＭのパターン学習により用意した各クラスの特徴パターンのいずれかに分類することができ、さらに、物体属性推定部手１０が形成する識別手段により、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、物体の移動の方向や姿勢等の時間変化を吸収し、それらの影響を排除して物体を認識できる。すなわち、同一物体でも向きによってレーザレーダ２の反射の検出パターンの形状が異なるが、各特徴パターンは各物体のレーザレーダ２に対する異なる向きの複数のクラスのパターンになるので、レーザレーダ２により、ある物体がフレームによって異なった向きで検出されたとしても、分類手段の時系列の複数フレームのパターン認識の分類結果を累積することで、その検出パターンを間違った物体に区分することがなく、より具体的な構成で物体の認識精度を向上することができる。
【００７４】
さらに、レーザレーダ２の反射の検出パターンが自転車の検出パターンである場合、自転車のペダル部分（反射の一部）が大きく変化することに着目し、複数フレーム間にペダルに相当する一部が前記所定以上変動することから、同じ二輪車であるモータバイク（ブレーキやシフトチェンジの際に足首以下の部分が微小に変化する）と区別して自転車を精度よく認識することができる。
【００７５】
そして、物体属性推定部１０が認識した物体の情報が、認識処理部４から運転支援部１１に送られ、運転支援部１１は車両、モータバイク、自転車、歩行者（人）の別に応じた警報等の運転支援を行なう。このとき、とくにモータバイクと自転車とを区別して認識できると、例えば、自転車に対してはモータバイクよりも早目に警報を出力できる等の利点がある。
【００７６】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、クラスの数や形状等は前記実施例に限るものではない。また、パターン認識の手法は、ＳＶＭに限るものではなく、例えばニューラルネットワークを用いた認識手法であってもよい。
【００７７】
つぎに、車載レーダはレーザレーダ２に限るものではなく、ミリ波レーダ、超音波レーダ等であってもよい。また、車載レーダの探査範囲はどのようであってもよく、車載レーダは、車両１の後方や左右側を探査するものであってもよく、車両１の全周を探査するものであってもよい。
【００７８】
つぎに、認識処理部４の構成や処理手順等が前記実施形態と異なっていてもよいのも勿論である。
【００７９】
そして、本発明は、車載レーダを用いた種々の車両の物体認識装置に適用することができる。
【符号の説明】
【００８０】
１ 車両
２ レーザレーダ
４ 認識処理部
８ 特徴抽出部
９ 分類スコア算出部
１０ 物体属性推定部
【特許請求の範囲】
【請求項１】
車両に搭載された車載レーダと、
前記車載レーダの反射の検出パターンを、パターン認識により物体別の複数の特徴パターンのいずれかに分類する分類手段と、
複数フレームの前記パターン認識の分類結果を累積し、累積結果から前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴とする物体認識装置。
【請求項２】
請求項１に記載の物体認識装置において、
前記各特徴パターンは、物体毎に複数のクラスに分類されたパターンであり、前記各クラスのパターンは、物体それぞれの少なくとも前記車載レーダに対する向きが異なる特徴パターンであることを特徴とする物体認識装置。
【請求項３】
請求項１または２に記載の物体認識装置において、
物体には自転車を含み、
前記分類手段は、前記自転車の反射の検出パターンについては、複数フレーム間にペダルに相当する一部が所定以上変動することから、自転車の特徴パターンに分類することを特徴とする物体認識装置。
【請求項１】
車両に搭載された車載レーダと、
前記車載レーダの反射の検出パターンを、パターン認識により物体別の複数の特徴パターンのいずれかに分類する分類手段と、
複数フレームの前記パターン認識の分類結果を累積し、累積結果から前記検出パターンの物体の種類を識別する識別手段とを備えたことを特徴とする物体認識装置。
【請求項２】
請求項１に記載の物体認識装置において、
前記各特徴パターンは、物体毎に複数のクラスに分類されたパターンであり、前記各クラスのパターンは、物体それぞれの少なくとも前記車載レーダに対する向きが異なる特徴パターンであることを特徴とする物体認識装置。
【請求項３】
請求項１または２に記載の物体認識装置において、
物体には自転車を含み、
前記分類手段は、前記自転車の反射の検出パターンについては、複数フレーム間にペダルに相当する一部が所定以上変動することから、自転車の特徴パターンに分類することを特徴とする物体認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−６５４００（Ｐ２０１１−６５４００Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１５２４１（Ｐ２００９−２１５２４１）
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]