車両識別システム
【課題】より効率的に車両を識別する「車両識別システム」を提供する。
【解決手段】他車向き算定部５は、レーダ装置１が同じ他車に対して測定したレーダ反射強度の推移と、ＲＣＳテーブル群６のＲＣＳテーブルが表す車両の各方向の有効レーダ反射面積より、現在の他車のカメラによって撮影される画像に写り込む向きを算定する。画像認識処理部４は、カメラ２が撮影された画像に対して画像認識処理を施して他車を識別する。また、この画像認識処理において、画像認識処理部４は、他車向き算定部５によって算定された向きを向いた車両の認識に好適化した画像認識を優先的に実行する。
【解決手段】他車向き算定部５は、レーダ装置１が同じ他車に対して測定したレーダ反射強度の推移と、ＲＣＳテーブル群６のＲＣＳテーブルが表す車両の各方向の有効レーダ反射面積より、現在の他車のカメラによって撮影される画像に写り込む向きを算定する。画像認識処理部４は、カメラ２が撮影された画像に対して画像認識処理を施して他車を識別する。また、この画像認識処理において、画像認識処理部４は、他車向き算定部５によって算定された向きを向いた車両の認識に好適化した画像認識を優先的に実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の観測空間内に存在する車両を識別する技術に関するものである。
【背景技術】
【０００２】
所定の観測空間内に存在する車両を識別する技術としては、撮影画像に写り込んだ車両を、撮影画像に対する画像認識処理によって識別する技術が知られている（たとえば、特許文献１）
【特許文献１】特開平8-16978号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、前述した撮影画像に画像認識処理を施して車両を識別する技術では、一般的には、撮影画像に写り込んだ車両を識別するために、撮影画像と、予めテンプレートとして設けた、車両の標準的な形態を表す画像パターンとのパターンマッチングを行う。ここで、車両の形態は、車両の向きによって大きく異なるため、通常は、テンプレートとしては、相互に異なる複数の向きを向いた車両の標準的な形態を表す複数の画像パターンが用意される。そして、車両の識別は、テンプレートして用意した複数の画像パターンの各々と撮影画像とのパターンマッチングによって行われる。すなわち、この技術によれば、車両の識別に複数回のパターンマッチングを行う必要があり、このために、その処理の負荷が大きくなりがちであった。
【０００４】
そこで、本発明は、所定の観測空間内に存在する車両を、より効率的に識別することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、車両を識別する車両識別システムを、レーダ装置と、カメラと、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを含めて構成したものである。
【０００６】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移のパターンに基づいて、カメラによって撮影された画像中に写り込む車両の向き推定し、推定した向きを向いている車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の各向きの各々について、当該向きの車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【０００７】
ここで、このような車両識別システムは、前記推定手段において、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、前記画像認識処理手段において、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別するように構成してもよい。
【０００８】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移パターンに基づいて、さらに、カメラによって撮影された画像中に写り込む車両の種別を推定し、推定した向きを向いている、推定した種別の車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の種別の各々について、推定した向きを向いている当該種別の車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【０００９】
なお、以上の各車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うものであってもよい。
【発明の効果】
【００１０】
以上のように、本発明によれば、所定の観測空間内に存在する車両を、より効率的に識別することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を自動車に搭載された周辺監視システムへの適用を例にとり説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、レーダ装置１、カメラ２、物標追尾部３、画像認識処理部４、他車向き算定部５、ＲＣＳテーブル群６、追尾情報保持部７、周辺状況提示部８とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すようにレーダ装置１とカメラ２は、自車１００の後部に配置される。また、レーダ装置１は、自車１００後方をスキャン範囲としてスキャン範囲内にある物体の相対位置と相対速度と当該物体におけるレーダ反射の強度を測定し測定データとして出力する処理を繰り返す。また、カメラ２は自車１００後方の撮影範囲の映像を撮影する処理を繰り返す。
【００１２】
物標追尾部３は、レーダ装置１から出力された測定データに基づいて、自車１００後方に存在する各物体の追尾を行い、追尾中の物体である追尾中物体毎に、追尾情報を生成、管理する物標追尾処理を繰り返し行う。ここで、物体の追尾とは、各時点で算定された測定データを、当該測定データが算定された物体毎に、当該物体の時系列の計測データとして系列化する処理である。また、ある追尾中物体の追尾情報とは、このように系列化された当該追尾中物体の時系列の測定データを指し、この追尾情報は、物標追尾部３によって追尾情報保持部７に格納される。
【００１３】
なお、物標追尾処理では、たとえば、次のようにして物体の追尾を行う。
すなわち、レーダ装置１から出力された測定データのうちに、ある追尾中物体の現在の推定相対位置に許容距離以内に近接する相対位置を示す測定データが存在する場合に、当該測定データを、当該追尾中物体の測定データであるとして、追尾情報保持部７に格納されている当該追尾中物体の追尾情報に加える。ここで、追尾中物体の現在の推定相対位置は、当該追尾中物体の過去最近の測定データが示す相対位置と、当該追尾中物体の過去の相対位置の変化の履歴等より予測される相対速度に基づいて算出する。
【００１４】
また、測定データのうちに、追尾中物体の測定データとすることのできなかった測定データが存在する場合には、その測定データが計測された物体を、新たな追尾中物体として、その追尾情報を追尾情報保持部７上に生成し、当該存在した測定データを、当該新たな追尾中物体の追尾情報に加える。また、当該物標追尾処理では、所定期間以上対応する測定データが計測されなかった追尾中物体については、その追尾を終了し、当該追尾中物体についての追尾情報を追尾情報保持部７から消去する。
【００１５】
次に、他車向き算定部５は、後に詳述する他車向き算定処理によって物標追尾が追尾している各追尾中物体について、その追尾中物体である車両の小型自動車/ワンボックス車/普通自動車/小型自動二輪車/中型自動二輪車/大型自動二輪車などの種別と、その追尾中物体である車両のカメラ２によって撮影される画像に写り込む向き（前向き、左斜め前向き、右横向きなど）を推定し、画像認識処理部４に、その追尾中物体である車両の現在の相対位置と共に、他車情報として通知する。
【００１６】
そして、画像認識処理部４は、カメラ２が撮影した画像中の、他車向き算定部５から通知された他車情報に含まれる相対位置が写り込む位置周辺の領域に対して、当該領域に写り込んでいる物体とその種別を認識する画像認識処理を行って、認識結果を周辺状況提示部８に出力する。
【００１７】
ここで、画像認識処理部４は、パターンマッチング用のテンプレートとして、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の６つの車両の種別の各々にそれぞれ対応する、複数の画像パターンセットを保持しており、各画像パターンセットには、異なる複数の向きの各々について設けた、当該向きを向いた対応する種別の車両の標準的な形態を表す画像パターンが含まれる。
【００１８】
そして、画像認識処理部４は、他車向き算定部５から通知された他車情報に含まれる車両の種別と向きに対応する画像パターンと、カメラ２が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行って、当該領域に写り込んでいる他車とその種別を識別すると共に、当該他車の写り込んでいる画像中の位置より、当該他車の相対位置を算出する。そして、識別した他車の種別と算出した相対位置を識別結果として周辺状況提示部８に出力する。また、他車情報に含まれる車両の種別と向きに対応する画像パターンを用いたパターンマッチングに失敗した場合には、順次、当該領域に対して、パターンマッチングに成功するまで、他の画像パターンを用いたパターンマッチングを施すことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。ただし、他車向き算定部５から通知された他車情報が、車両の種別と向きが不明であることを示している場合には、予め定めた画像パターンの順序に従って、各画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで行うことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。なお、いずれの場合も、全ての画像パターンについてパターンマッチングに失敗した場合には、他車情報の出力は行わない。
【００１９】
すなわち、画像認識処理部４は、たとえば、他車向き算定部５から他車情報によって他車の種別として中型自動二輪車が、向きとして左斜め正面が通知された場合には、まず、テンプレートとして保持している左斜め正面を向いた中型自動二輪車の画像パターンと、カメラ２が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行う。そして、パターンマッチングが成功したならば、画像パターンをパターンがマッチングした撮影画像中の領域に対応する自車後方の自車に対する相対的な位置を相対位置として算出し、算出した相対位置に中型自動二輪車を識別した旨を表す識別結果を周辺状況提示部８に出力する。一方、左斜め正面を向いた中型自動二輪車の画像パターンを用いたパターンマッチングが失敗した場合には、テンプレートとして保持している他の画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで逐次行っていく。
【００２０】
そして、周辺状況提示部８は、追尾情報保持部７に格納されている各追尾中物標の追尾情報や、画像認識処理部４における画像認識処理による他車識別結果に基づいて、自車１００後方の各種別の他車の配置や挙動の状況などをユーザに対して表示する処理などを行う。
【００２１】
以下、他車向き算定部５が行う前述した他車向き算定処理について説明する。
まず、この他車向き算定処理において用いるＲＣＳテーブル群６について説明する。
ＲＣＳテーブル群６は、車両の種別毎に設けたＲＣＳテーブルの集合であり、
本実施形態では、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の６つの車両の種別についてＲＣＳテーブルを設けている。
各ＲＣＳテーブルは、対応する種別の車両の各方向θのＲＣＳ（Radar Cross Section; レーダ有効反射面積）を表したものであり、この各方向θのＲＣＳは、その方向からレーダを照射したときのレーダ反射強度の程度を表すことになる。
なお、たとえば図２に示すように、各ＲＣＳテーブルに登録するＲＣＳ２１は、実験によって各方向から対応する種別の車両に一定距離からレーダを照射して測定したレーダ反射強度２０をθ方向の空間周波数について平滑化したものとして算出し、ＲＣＳテーブルに登録する。なお、図２の各グラフにおいて半径方向が、レーダ反射強度とＲＣＳの軸である。
【００２２】
なお、図２中、ａは小型自動車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｂはワンボックス車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｃは普通自動車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｄは小型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｅは中型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｆは大型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を表している。また、θ=０が車両の前面のＲＣＳを、θ=π/２が車両の後面のＲＣＳを表すようにθの値を設定している。
【００２３】
次に、他車向き算定部５が行う他車向き算定処理について説明する。
図３に、この他車向き算定処理の処理手順を示す。
図示するように、この処理では、まず、物標追尾部３による、追尾情報保持部７に保持されている、いずれかの追尾中物標の追尾情報の更新の発生を監視し（ステップ３０２）、更新が発生したならば、追尾情報が更新された追尾中物体を算定対象物体に設定する（ステップ３０４）。
【００２４】
そして、まず、算定対象物体の追尾情報に登録されている各測定データが示す算定対象物体の相対位置とレーダ反射強度の履歴を取得し（ステップ３０６）、取得した履歴より、算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンを求める（ステップ３０８）。ここで、このレーダ反射強度の変化パターンは次のようにして求める。
【００２５】
すなわち、まず、各測定データについて、測定データが示す相対位置より算定対象物体のレーダ装置１から見た方向θとレーダ装置１からの距離を算出する。そして、測定データが示すレーダ反射強度を、算出した距離に応じて、算定対象物体までの距離が所定の距離であったならば得られたであろう反射強度Ｆに補正する。そして、方向θの軸と反射強度Ｆの軸をもつ二次元空間上で、各測定データについて求めた（θ、Ｆ）をθ軸方向に結ぶ曲線を平滑化して、算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンとする。
【００２６】
ここで、このステップ３０８の処理によって、たとえば、図４ａ１-ａ２-ａ３のように自車１００に対して自動二輪車４００が後方より接近した場合には、ａ１、ａ２、ａ３の各時点においてレーダ装置１が自動二輪車４００に対して測定した相対位置が示す自動二輪車４００のレーダ装置１とカメラ２から見た角度θと、当該各時点においてレーダ装置１が自動二輪車４００に対して測定したレーダ反射強度を、自動二輪車４００までの距離に応じて補正した反射強度Ｆより、図４ｂに示すような算定対象物体のレーダ装置１から見た方向θに対するレーダ反射強度Ｆの変化パターンが得られることになる。なお、図４ｂのグラフの半径方向が射強度Ｆの軸である。
【００２７】
さて、図３に戻り、このようにして算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンを求めたならば、求めたレーダ反射強度の変化パターンと、ＲＣＳテーブル群６の各ＲＣＳテーブルが表す方向θに対するＲＣＳの変化パターンとのパターンマッチング処理を行って、求めたレーダ反射強度の変化パターンが、いずれかのＲＣＳテーブルのＲＣＳの変化パターンとマッチングするかどうかを調べる（ステップ３１０）。ここで、このパターンマッチング処理では、求めたレーダ反射強度の変化パターンと同様の変化パターンを、任意の角度範囲に対して示すＲＣＳの変化パターンを、当該レーダ反射強度の変化パターンとマッチングするＲＣＳの変化パターンとして算定する。
【００２８】
そして、マッチングしなかった場合には（ステップ３１２）、追尾情報中の最新の測定データが示す相対位置を含めた、車両の種別と向きが不明であることを示す他車情報を生成し、画像認識処理部４に出力し（ステップ３２０）、ステップ３０２に戻って次の追尾情報の更新の発生を待つ。一方、求めたレーダ反射強度の変化パターンが、いずれかのＲＣＳテーブルのＲＣＳの変化パターンとマッチングしたならば（ステップ３１２）、整合したＲＣＳテーブルに対応する車両の種別を算定対象物体の種別として算定する（ステップ３１４）。
【００２９】
また、求めたレーダ反射強度の変化パターン上の、算定対象物体の追尾情報の最新の測定データが示す算定対象物体の方向とレーダ反射強度に対応する点に対応する、整合したＲＣＳの変化パターン上の求めたレーダ反射強度の変化パターンと同様の変化パターンを示す部分上の点の角度より、カメラ２によって撮影される画像に写り込む算定対象物体の向きを算定する（ステップ３１６）。
【００３０】
そして、ステップ３１４で算定した種別とステップ３１８で算定した算定対象物体の向きと算定対象物体の追尾情報中の最新の測定データが示す相対位置とを含めた他車情報を生成し、画像認識処理部４に出力し（ステップ３１８）、ステップ３０２に戻って次の追尾情報の更新の発生を待つ。
【００３１】
以上、他車向き算定部５が行う他車向き算定処理について説明した。
以上のように本実施形態によれば、他車のレーダ反射強度の推移に基づいて当該他車の種別を推定し、推定した種別の車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
また、本実施形態によれば、他車のレーダ反射強度の推移に基づいて、カメラ２によって撮影された画像中に写り込む他車の向き推定し、推定した向きを向いている車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。
【図２】本発明の実施形態に係るＲＣＳテーブルの内容を示す図である。
【図３】本発明の実施形態に係る他車向き算定処理を示すフローチャートである。
【図４】本発明の実施形態に係る他車向き算定処理の処理例を示す図である。
【符号の説明】
【００３３】
１…レーダ装置、２…カメラ、３…物標追尾部、４…画像認識処理部、５…他車向き算定部、６…ＲＣＳテーブル群、７…追尾情報保持部、８…周辺状況提示部。
【技術分野】
【０００１】
本発明は、所定の観測空間内に存在する車両を識別する技術に関するものである。
【背景技術】
【０００２】
所定の観測空間内に存在する車両を識別する技術としては、撮影画像に写り込んだ車両を、撮影画像に対する画像認識処理によって識別する技術が知られている（たとえば、特許文献１）
【特許文献１】特開平8-16978号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、前述した撮影画像に画像認識処理を施して車両を識別する技術では、一般的には、撮影画像に写り込んだ車両を識別するために、撮影画像と、予めテンプレートとして設けた、車両の標準的な形態を表す画像パターンとのパターンマッチングを行う。ここで、車両の形態は、車両の向きによって大きく異なるため、通常は、テンプレートとしては、相互に異なる複数の向きを向いた車両の標準的な形態を表す複数の画像パターンが用意される。そして、車両の識別は、テンプレートして用意した複数の画像パターンの各々と撮影画像とのパターンマッチングによって行われる。すなわち、この技術によれば、車両の識別に複数回のパターンマッチングを行う必要があり、このために、その処理の負荷が大きくなりがちであった。
【０００４】
そこで、本発明は、所定の観測空間内に存在する車両を、より効率的に識別することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、車両を識別する車両識別システムを、レーダ装置と、カメラと、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを含めて構成したものである。
【０００６】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移のパターンに基づいて、カメラによって撮影された画像中に写り込む車両の向き推定し、推定した向きを向いている車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の各向きの各々について、当該向きの車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【０００７】
ここで、このような車両識別システムは、前記推定手段において、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、前記画像認識処理手段において、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別するように構成してもよい。
【０００８】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移パターンに基づいて、さらに、カメラによって撮影された画像中に写り込む車両の種別を推定し、推定した向きを向いている、推定した種別の車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の種別の各々について、推定した向きを向いている当該種別の車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【０００９】
なお、以上の各車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うものであってもよい。
【発明の効果】
【００１０】
以上のように、本発明によれば、所定の観測空間内に存在する車両を、より効率的に識別することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を自動車に搭載された周辺監視システムへの適用を例にとり説明する。
図１ａに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、レーダ装置１、カメラ２、物標追尾部３、画像認識処理部４、他車向き算定部５、ＲＣＳテーブル群６、追尾情報保持部７、周辺状況提示部８とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すようにレーダ装置１とカメラ２は、自車１００の後部に配置される。また、レーダ装置１は、自車１００後方をスキャン範囲としてスキャン範囲内にある物体の相対位置と相対速度と当該物体におけるレーダ反射の強度を測定し測定データとして出力する処理を繰り返す。また、カメラ２は自車１００後方の撮影範囲の映像を撮影する処理を繰り返す。
【００１２】
物標追尾部３は、レーダ装置１から出力された測定データに基づいて、自車１００後方に存在する各物体の追尾を行い、追尾中の物体である追尾中物体毎に、追尾情報を生成、管理する物標追尾処理を繰り返し行う。ここで、物体の追尾とは、各時点で算定された測定データを、当該測定データが算定された物体毎に、当該物体の時系列の計測データとして系列化する処理である。また、ある追尾中物体の追尾情報とは、このように系列化された当該追尾中物体の時系列の測定データを指し、この追尾情報は、物標追尾部３によって追尾情報保持部７に格納される。
【００１３】
なお、物標追尾処理では、たとえば、次のようにして物体の追尾を行う。
すなわち、レーダ装置１から出力された測定データのうちに、ある追尾中物体の現在の推定相対位置に許容距離以内に近接する相対位置を示す測定データが存在する場合に、当該測定データを、当該追尾中物体の測定データであるとして、追尾情報保持部７に格納されている当該追尾中物体の追尾情報に加える。ここで、追尾中物体の現在の推定相対位置は、当該追尾中物体の過去最近の測定データが示す相対位置と、当該追尾中物体の過去の相対位置の変化の履歴等より予測される相対速度に基づいて算出する。
【００１４】
また、測定データのうちに、追尾中物体の測定データとすることのできなかった測定データが存在する場合には、その測定データが計測された物体を、新たな追尾中物体として、その追尾情報を追尾情報保持部７上に生成し、当該存在した測定データを、当該新たな追尾中物体の追尾情報に加える。また、当該物標追尾処理では、所定期間以上対応する測定データが計測されなかった追尾中物体については、その追尾を終了し、当該追尾中物体についての追尾情報を追尾情報保持部７から消去する。
【００１５】
次に、他車向き算定部５は、後に詳述する他車向き算定処理によって物標追尾が追尾している各追尾中物体について、その追尾中物体である車両の小型自動車/ワンボックス車/普通自動車/小型自動二輪車/中型自動二輪車/大型自動二輪車などの種別と、その追尾中物体である車両のカメラ２によって撮影される画像に写り込む向き（前向き、左斜め前向き、右横向きなど）を推定し、画像認識処理部４に、その追尾中物体である車両の現在の相対位置と共に、他車情報として通知する。
【００１６】
そして、画像認識処理部４は、カメラ２が撮影した画像中の、他車向き算定部５から通知された他車情報に含まれる相対位置が写り込む位置周辺の領域に対して、当該領域に写り込んでいる物体とその種別を認識する画像認識処理を行って、認識結果を周辺状況提示部８に出力する。
【００１７】
ここで、画像認識処理部４は、パターンマッチング用のテンプレートとして、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の６つの車両の種別の各々にそれぞれ対応する、複数の画像パターンセットを保持しており、各画像パターンセットには、異なる複数の向きの各々について設けた、当該向きを向いた対応する種別の車両の標準的な形態を表す画像パターンが含まれる。
【００１８】
そして、画像認識処理部４は、他車向き算定部５から通知された他車情報に含まれる車両の種別と向きに対応する画像パターンと、カメラ２が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行って、当該領域に写り込んでいる他車とその種別を識別すると共に、当該他車の写り込んでいる画像中の位置より、当該他車の相対位置を算出する。そして、識別した他車の種別と算出した相対位置を識別結果として周辺状況提示部８に出力する。また、他車情報に含まれる車両の種別と向きに対応する画像パターンを用いたパターンマッチングに失敗した場合には、順次、当該領域に対して、パターンマッチングに成功するまで、他の画像パターンを用いたパターンマッチングを施すことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。ただし、他車向き算定部５から通知された他車情報が、車両の種別と向きが不明であることを示している場合には、予め定めた画像パターンの順序に従って、各画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで行うことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。なお、いずれの場合も、全ての画像パターンについてパターンマッチングに失敗した場合には、他車情報の出力は行わない。
【００１９】
すなわち、画像認識処理部４は、たとえば、他車向き算定部５から他車情報によって他車の種別として中型自動二輪車が、向きとして左斜め正面が通知された場合には、まず、テンプレートとして保持している左斜め正面を向いた中型自動二輪車の画像パターンと、カメラ２が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行う。そして、パターンマッチングが成功したならば、画像パターンをパターンがマッチングした撮影画像中の領域に対応する自車後方の自車に対する相対的な位置を相対位置として算出し、算出した相対位置に中型自動二輪車を識別した旨を表す識別結果を周辺状況提示部８に出力する。一方、左斜め正面を向いた中型自動二輪車の画像パターンを用いたパターンマッチングが失敗した場合には、テンプレートとして保持している他の画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで逐次行っていく。
【００２０】
そして、周辺状況提示部８は、追尾情報保持部７に格納されている各追尾中物標の追尾情報や、画像認識処理部４における画像認識処理による他車識別結果に基づいて、自車１００後方の各種別の他車の配置や挙動の状況などをユーザに対して表示する処理などを行う。
【００２１】
以下、他車向き算定部５が行う前述した他車向き算定処理について説明する。
まず、この他車向き算定処理において用いるＲＣＳテーブル群６について説明する。
ＲＣＳテーブル群６は、車両の種別毎に設けたＲＣＳテーブルの集合であり、
本実施形態では、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の６つの車両の種別についてＲＣＳテーブルを設けている。
各ＲＣＳテーブルは、対応する種別の車両の各方向θのＲＣＳ（Radar Cross Section; レーダ有効反射面積）を表したものであり、この各方向θのＲＣＳは、その方向からレーダを照射したときのレーダ反射強度の程度を表すことになる。
なお、たとえば図２に示すように、各ＲＣＳテーブルに登録するＲＣＳ２１は、実験によって各方向から対応する種別の車両に一定距離からレーダを照射して測定したレーダ反射強度２０をθ方向の空間周波数について平滑化したものとして算出し、ＲＣＳテーブルに登録する。なお、図２の各グラフにおいて半径方向が、レーダ反射強度とＲＣＳの軸である。
【００２２】
なお、図２中、ａは小型自動車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｂはワンボックス車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｃは普通自動車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｄは小型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｅは中型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を、ｆは大型自動二輪車のＲＣＳテーブルが表す各方向のＲＣＳ２１を表している。また、θ=０が車両の前面のＲＣＳを、θ=π/２が車両の後面のＲＣＳを表すようにθの値を設定している。
【００２３】
次に、他車向き算定部５が行う他車向き算定処理について説明する。
図３に、この他車向き算定処理の処理手順を示す。
図示するように、この処理では、まず、物標追尾部３による、追尾情報保持部７に保持されている、いずれかの追尾中物標の追尾情報の更新の発生を監視し（ステップ３０２）、更新が発生したならば、追尾情報が更新された追尾中物体を算定対象物体に設定する（ステップ３０４）。
【００２４】
そして、まず、算定対象物体の追尾情報に登録されている各測定データが示す算定対象物体の相対位置とレーダ反射強度の履歴を取得し（ステップ３０６）、取得した履歴より、算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンを求める（ステップ３０８）。ここで、このレーダ反射強度の変化パターンは次のようにして求める。
【００２５】
すなわち、まず、各測定データについて、測定データが示す相対位置より算定対象物体のレーダ装置１から見た方向θとレーダ装置１からの距離を算出する。そして、測定データが示すレーダ反射強度を、算出した距離に応じて、算定対象物体までの距離が所定の距離であったならば得られたであろう反射強度Ｆに補正する。そして、方向θの軸と反射強度Ｆの軸をもつ二次元空間上で、各測定データについて求めた（θ、Ｆ）をθ軸方向に結ぶ曲線を平滑化して、算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンとする。
【００２６】
ここで、このステップ３０８の処理によって、たとえば、図４ａ１-ａ２-ａ３のように自車１００に対して自動二輪車４００が後方より接近した場合には、ａ１、ａ２、ａ３の各時点においてレーダ装置１が自動二輪車４００に対して測定した相対位置が示す自動二輪車４００のレーダ装置１とカメラ２から見た角度θと、当該各時点においてレーダ装置１が自動二輪車４００に対して測定したレーダ反射強度を、自動二輪車４００までの距離に応じて補正した反射強度Ｆより、図４ｂに示すような算定対象物体のレーダ装置１から見た方向θに対するレーダ反射強度Ｆの変化パターンが得られることになる。なお、図４ｂのグラフの半径方向が射強度Ｆの軸である。
【００２７】
さて、図３に戻り、このようにして算定対象物体のレーダ装置１から見た方向に対するレーダ反射強度の変化パターンを求めたならば、求めたレーダ反射強度の変化パターンと、ＲＣＳテーブル群６の各ＲＣＳテーブルが表す方向θに対するＲＣＳの変化パターンとのパターンマッチング処理を行って、求めたレーダ反射強度の変化パターンが、いずれかのＲＣＳテーブルのＲＣＳの変化パターンとマッチングするかどうかを調べる（ステップ３１０）。ここで、このパターンマッチング処理では、求めたレーダ反射強度の変化パターンと同様の変化パターンを、任意の角度範囲に対して示すＲＣＳの変化パターンを、当該レーダ反射強度の変化パターンとマッチングするＲＣＳの変化パターンとして算定する。
【００２８】
そして、マッチングしなかった場合には（ステップ３１２）、追尾情報中の最新の測定データが示す相対位置を含めた、車両の種別と向きが不明であることを示す他車情報を生成し、画像認識処理部４に出力し（ステップ３２０）、ステップ３０２に戻って次の追尾情報の更新の発生を待つ。一方、求めたレーダ反射強度の変化パターンが、いずれかのＲＣＳテーブルのＲＣＳの変化パターンとマッチングしたならば（ステップ３１２）、整合したＲＣＳテーブルに対応する車両の種別を算定対象物体の種別として算定する（ステップ３１４）。
【００２９】
また、求めたレーダ反射強度の変化パターン上の、算定対象物体の追尾情報の最新の測定データが示す算定対象物体の方向とレーダ反射強度に対応する点に対応する、整合したＲＣＳの変化パターン上の求めたレーダ反射強度の変化パターンと同様の変化パターンを示す部分上の点の角度より、カメラ２によって撮影される画像に写り込む算定対象物体の向きを算定する（ステップ３１６）。
【００３０】
そして、ステップ３１４で算定した種別とステップ３１８で算定した算定対象物体の向きと算定対象物体の追尾情報中の最新の測定データが示す相対位置とを含めた他車情報を生成し、画像認識処理部４に出力し（ステップ３１８）、ステップ３０２に戻って次の追尾情報の更新の発生を待つ。
【００３１】
以上、他車向き算定部５が行う他車向き算定処理について説明した。
以上のように本実施形態によれば、他車のレーダ反射強度の推移に基づいて当該他車の種別を推定し、推定した種別の車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
また、本実施形態によれば、他車のレーダ反射強度の推移に基づいて、カメラ２によって撮影された画像中に写り込む他車の向き推定し、推定した向きを向いている車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。
【図２】本発明の実施形態に係るＲＣＳテーブルの内容を示す図である。
【図３】本発明の実施形態に係る他車向き算定処理を示すフローチャートである。
【図４】本発明の実施形態に係る他車向き算定処理の処理例を示す図である。
【符号の説明】
【００３３】
１…レーダ装置、２…カメラ、３…物標追尾部、４…画像認識処理部、５…他車向き算定部、６…ＲＣＳテーブル群、７…追尾情報保持部、８…周辺状況提示部。
【特許請求の範囲】
【請求項１】
車両を識別する車両識別システムであって、
レーダ装置と、
カメラと、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、
前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを有することを特徴とする車両識別システム。
【請求項２】
請求項１記載の車両識別システムであって、
前記推定手段は、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、
前記画像認識処理手段は、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別することを特徴とする車両識別システム。
【請求項３】
請求項１または２記載の車両識別システムであって、
当該車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うことを特徴とする車両識別システム。
【請求項４】
レーダ装置と、カメラとを用いて車両を識別する車両識別方法であって、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の推移より、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定するステップと、
前記カメラが撮影した画像に対して、推定した向きを向いている車両の識別に好適化した画像認識処理を施して、当該画像中に写り込んでいる車両を識別するステップとを有することを特徴とする車両識別方法。
【請求項１】
車両を識別する車両識別システムであって、
レーダ装置と、
カメラと、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、
前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを有することを特徴とする車両識別システム。
【請求項２】
請求項１記載の車両識別システムであって、
前記推定手段は、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、
前記画像認識処理手段は、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別することを特徴とする車両識別システム。
【請求項３】
請求項１または２記載の車両識別システムであって、
当該車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うことを特徴とする車両識別システム。
【請求項４】
レーダ装置と、カメラとを用いて車両を識別する車両識別方法であって、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の推移より、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定するステップと、
前記カメラが撮影した画像に対して、推定した向きを向いている車両の識別に好適化した画像認識処理を施して、当該画像中に写り込んでいる車両を識別するステップとを有することを特徴とする車両識別方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２８１８（Ｐ２００８−２８１８Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１６９７３４（Ｐ２００６−１６９７３４）
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]