移動体の周囲物体検出装置及び移動体の周囲物体検出方法
【課題】検出精度を向上させることのできる移動体の周囲物体検出装置及び方法を提供する。
【解決手段】複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・を有し、各検出手段は、自車両の周囲に存在する物体を検出するセンサ部１３と、センサ部１３で検出された物体と自車両との間の相対位置データを求める位置算出手段１４と、センサ部１３の検出データに基づいて、自車両と物体との間の相対位置データの確信度データを求める確信度演算手段１５とを有する。そして、各検出手段で求められた確信度データに基づいて、この検出手段で求められた相対位置データを重み付け処理し、重み付け処理された各相対位置データに基づいて、自車両と物体との相対位置を求める統合座標算出手段１１を備えたことを特徴とする。
【解決手段】複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・を有し、各検出手段は、自車両の周囲に存在する物体を検出するセンサ部１３と、センサ部１３で検出された物体と自車両との間の相対位置データを求める位置算出手段１４と、センサ部１３の検出データに基づいて、自車両と物体との間の相対位置データの確信度データを求める確信度演算手段１５とを有する。そして、各検出手段で求められた確信度データに基づいて、この検出手段で求められた相対位置データを重み付け処理し、重み付け処理された各相対位置データに基づいて、自車両と物体との相対位置を求める統合座標算出手段１１を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の移動体の周囲に存在する障害物等の物体を検出する周囲物体検出装置及び方法に関する。
【背景技術】
【０００２】
従来における周囲物体検出装置として、例えば特開平７−１５８５６号公報（特許文献１）に記載されたものが知られている。
【０００３】
該特許文献１に開示された技術は、例えば、レーダ等で対象物を追跡する際に、追跡範囲を特定することを目的としており、ある時刻における検出点の分布と予測値に基づいて代表点を算出し、算出した代表点と前回の処理時刻における代表点とから、線形に次回の処理時刻における予測位置を算出し、追跡位置とする。
【０００４】
更に、検出点の分布を正規分布に当てはめ、この分布に基づいて注目点に車両が存在する確率を求める。また、１つ前と２つ前の処理時刻における代表位置から、今回の処理時刻における代表位置を線形に予測する。
【０００５】
そして、予測位置と分布の中心が十分離れていた場合には、予測位置と分布の中心とを結んだ直線上における、前記の正規分布に基づく存在確率が任意の値となる位置を、代表位置とする。予測位置と分布との中心とが近ければ、両者の中間位置を代表位置にする。
【特許文献１】特開平７−１５１８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された技術では、検出点の分布を正規分布に当てはめて、注目位置の対象が存在する確率を求めるという構成になっているので、精度の良い分布を求めるためには多数の検出点が必要であり、例えば２点等の少ない検出位置が得られた際には、分布が得られない、或いは、分布の精度が低くなるという問題点が発生する。
【０００７】
この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、検出精度を向上させることのできる移動体の周囲物体検出装置及び方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本願の装置発明は、移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出装置において、複数の検出手段を有し、前記各検出手段は、移動体周囲に存在する物体を検出するセンサ手段と、前記センサ手段で検出される前記物体と、前記移動体との間の相対的な位置データを求める位置検出手段と、前記位置検出手段で求められた位置データに基づいて、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算手段と、を有し、前記各検出手段で求められた前記確信度データに基づいて、この検出手段で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出手段を備えたことを特徴とする。
【０００９】
また、本願の方法発明は、移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出方法において、センサ手段を用いて、前記移動体周囲に存在する物体を検出する物体検出工程と、前記物体検出工程で検出された前記物体と、前記移動体との間の相対位置データを求める位置算出工程と、前記位置算出工程で得られた前記相対位置データに基づき、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算工程と、からなる検出工程を複数有し、前記各検出工程で求められた前記確信度データを用いて、その検出工程での前記位置算出工程で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出工程を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明に係る移動体の周囲物体検出装置及び方法では、移動体の周辺に、障害物等の物体が存在する場合に、この物体を複数の検出手段で検出し、各検出手段で検出された物体の検出値データの確信度に基づいて、各検出手段で検出された検出値データの重み付け処理を行い、その結果として、物体の統合座標を算出している。
【００１１】
従って、検出精度の低い検出手段で検出されたデータの重み付けが低くなり、検出精度の高い検出手段で検出されたデータの重み付けが高くなるので、各検出手段で検出される物体位置が相違する場合であっても、物体の真の位置と同一の位置座標、或いは極めて近い位置座標を求めることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態に係る移動体の周囲物体検出装置の構成を示すブロック図である。
【００１３】
同図に示すように、本実施形態は、移動体が車両の場合を例に挙げており、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００１４】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部（センサ手段）１３と、該センサ部１３で検出される物体と自車両との間の相対位置を示す検出値データｒi(t)を算出する位置算出手段１４と、位置算出手段１４で算出された検出値データｒi(t)に基づいて、この位置座標の確信度データＰ（ｒi）を求める確信度演算部１５と、を備えている。位置座標を示す検出値データｒi(t)の座標軸は、自車両を中心とした極座標である。また、センサ部１３は、例えばカメラであり、車両周辺の画像を撮影し、且つ撮影された画像に対し濃淡処理等の周知の手法を適用することにより、車両の周辺に存在する物体を検出する。また、センサ部１３は、カメラ以外として、ミリ波レーダ、超音波レーダ等を用いることも可能である。
【００１５】
また、確信度演算部１５は、過去において統合座標算出手段１１（後述）にて算出された統合座標を示す位置座標データｒa(t)を記憶する統合座標履歴保存手段１６と、この統合座標履歴保存手段１６に記憶されている過去の統合座標を示す位置座標データｒa(t-kΔt)［ｋ＝１，２，・・］を参照して、自車両周囲に存在する物体位置の予測値データｒ'a(t)を求める予測値算出手段１７とを備えている。
【００１６】
更に、自車位置と物体との相対位置に依存した誤差分布データσ2（ｒ'a（t））を記憶する誤差分布保存手段１８と、予測値算出手段より予測値データｒ'a(t)が与えられた際に、この予測値データｒ'a(t)に対応する誤差分布データσ2(ｒ'a（t）)を誤差分布保存手段１８より読み出す誤差分布参照手段１９と、予測値算出手段１７で求められた物体位置の予測値データｒ'a(t)と、位置算出手段１４で求められた検出値データｒi(t)との差分、即ち、「ｒi(t)−ｒ'a(t)」を演算する差分算出手段２０と、を備えている。
【００１７】
また、差分算出手段２０より与えられる差分データ「ｒi(t)−ｒ'a(t)」と、誤差分布参照手段１９で読み出した、予測値データｒ'a(t)に対応する誤差分布データσ2(ｒ'a（t）)に基づいて、位置算出手段１４で求めた検出値データｒi(t)の値の確信度Ｐ（ｒi）を求める確信度算出手段２１とを備えている。
【００１８】
統合座標算出手段１１は、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められる物体位置の検出値データｒi(t)と確信度算出手段２１で求められた確信度データＰ（ｒi）に基づいて、対象物体の位置座標データｒa(t)を求め、この位置座標データｒa(t)を統合座標履歴保存手段１６に出力し、且つ表示手段１２に出力する。
【００１９】
表示手段１２は、統合座標算出手段１１で算出された位置座標データｒa(t)に基づいて、例えば対象物体の鳥瞰図を作成し、画面表示する。
【００２０】
次に、上述のように構成された、本実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、この画像から画像処理により抽出される物体の画像データを位置算出手段１４に出力する。
【００２１】
位置算出手段１４は、この画像データを画像処理して、自車両を基準とした物体の相対的な位置座標となる検出値データｒi(t)を求め、この検出値データｒi(t)を、差分算出手段２０及び統合座標算出手段１１に出力する。また、予測値算出手段１７では、統合座標履歴保存手段１６に記憶されている、過去における物体存在位置となる統合座標から、物体の予測値データｒ'a(t)を求める。ここでは、統合座標履歴保存手段１６に記憶されている統合座標を示す位置座標データｒa(t-kΔt)［ｋ＝１，２，・・，ｋ］を参照し、カルマンフィルタ等の周知の手法を用いて予測値データｒ'a(t)を求める。
【００２２】
次いで、差分算出手段２０では、検出された検出値データｒi(t)と予測された予測値データｒ'a(t)との差分ベクトル「ｒi(t)−ｒ'a(t)＝ｄｉ」を算出し、この差分ベクトルｄｉを確信度算出手段２１に出力する。
【００２３】
また、誤差分布参照手段１９は、予測値算出手段１７で求められた予測値データｒ'a(t)に基づき、誤差分布保存手段１８を参照して、この予測値データｒ'a(t)に対応する誤差分布σ2（ｒ'a(t)）を求める。そして、この誤差分布データσ2（ｒ'a(t)）を確信度算出手段２１に出力する。
【００２４】
その結果、確信度算出手段２１には、上記の差分ベクトルｄｉと、誤差分布データσ2（ｒ'a(t)）が与えられ、これらのデータに基づいて、以下に示す（１）式で２次元正規分布を算出し、確信度データＰ（ｒi(t)）として出力する。
【数１】
【００２５】
なお、（１）式において、「Ｖ」は正規化された分散共分散行列を示し、「det」は行列式を示し、「Ｔ」は転置を示す。
【００２６】
そして、上記の処理を各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で実行することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められた検出値データｒi(t)、及び確信度データＰ（ｒi(t)）［ｉ＝１，２，・・］が統合座標算出手段１１に供給される。
【００２７】
そして、統合座標算出手段１１では、以下に示す（２）式を用いて、対象となる物体の位置座標データｒa(t)を、確信度データで重み付けした加重平均として求める。
【数２】
【００２８】
そして、上記の（２）式で求められた、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による位置座標データｒa(t)は、それぞれの検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する統合座標履歴保存手段１６に出力され、記憶保存される。
【００２９】
更に、統合座標算出手段１１では、（２）式で求められた位置座標データｒa(t)を表示手段１２に出力し、該表示手段１２では、この位置座標データｒa(t)に基づいて、例えば、図２に示すように、対象となる物体６３自車両６２との相対的な位置関係を鳥瞰図として画面表示する。これにより、車両の乗員は、車両の周辺に存在する物体と自車両との位置関係を視覚的に認識することができる。
【００３０】
なお、予測位置から任意の閾値以上離れている検出点が任意の判断時間に亘って存在し続けている場合には、異なる検出対象物について出力された検出点であるものとして、新規の物体位置の検出処理を開始する。
【００３１】
このようにして、本実施形態に係る移動体の周囲物体検出装置では、移動体としての自車両周辺に、他車両或いは障害物等の物体が存在する場合に、この物体を複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出し、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された物体の検出値データｒi（t）の確信度に基づいて、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データｒi（t）の重み付け処理を行い、その結果として統合座標となる位置座標データｒa(t)を算出している。
【００３２】
従って、例えば、図３に示すように、自車両３１に３個のセンサ３２〜３４（図１のセンサ１３に相当する）が設けられ、且つ各センサ３２〜３４の検出領域が領域３５〜３７である場合を例に挙げると、センサ３２で符号３８の位置に物体が検出され、センサ３３で符号３９の位置に物体が検出された場合には、これらの位置座標として求められた各検出値データｒi（t）に基づいて統合された位置座標データｒa(t)が求められることになり、その結果、周囲物体の検出精度を著しく向上させることができる。
【００３３】
即ち、複数のセンサを備えて車両の周辺に存在する物体を監視する方式を用いる際には、各センサの検出対象領域が重複する部分に物体が存在する際に、これらのセンサが検出する物体の存在位置が必ずしも一致するとは限らない。むしろ、異なる位置データを検出する場合の方が多い。本実施形態では、複数のセンサで、検出対象となる同一物体の位置データを複数個取得した際に、これらの位置データから、より真の位置に近い位置データを求めるようにしている。
【００３４】
具体的には、例えば、図３に示した場合を例に挙げると、各センサ３２，３３，３４の検出領域が、領域３５，３６，３７に示す形状であったとき、各検出領域３２，３３，３４の間には、共通となる検出領域が存在する。
【００３５】
このような場合で、検出領域３５と３６の境界付近に、他車両等の物体が存在した場合を考え、センサ３２が領域３８の検出値データを出力し、センサ３３が領域３９の検出値データを出力したとする。
【００３６】
ここで、２つの検出値データが異なる要因としては、３つの項目が挙げられる。１つ目としては、各センサ３２，３３の取り付け位置が異なるため、検出対象物について各センサ３２，３３が獲得できる情報が異なることが挙げられる。例えば、画像センサであれば、対象の見え方が異なることに起因する。
【００３７】
２つ目としては、各センサ３２，３３の検出ロジックが異なる場合、ロジックに依存して検出位置が異なることが挙げられる。
【００３８】
３つ目としては、各センサ３２，３３のハード的な構成自体が異なる場合に、各センサ３２，３３が利用する情報が異なること挙げられる。例えば、センサ３２がミリ波レーダで、センサ３３が画像センサ、といった構成であれば、このような３つ目の要因が生じる。
【００３９】
以上のような理由から、複数のセンサが同一の対象物体に対して、異なる位置データを出力することは、容易に起こり得る。また、この例では複数のセンサによる検出領域が部分的に重複している場合を考えたが、重複していなくても検出領域が近接していれば、同様の現象は起こり得る。
【００４０】
本実施形態では、このような、同一の対象物体に対して異なる位置データが検出された際に、装置全体として、対象物体に対応した単一の位置データを、代表となる位置データとして求める際に極めて有効である。
【００４１】
従来の手法では、このような場合において、代表となる位置座標データを求める際に、各センサが出力する対象物体の検出値データのみを情報として利用し、例えば、出力点の空間的な分布や時間的な位置の連続性から、代表位置を求めるのが一般的であった。
【００４２】
しかし、従来の手法では、検出点の数が少ない場合は空間的な分布を求めることが困難であり、また、検出点の中に精度の低い値が含まれていた場合でも、精度の高い検出点と同様の重みで扱うため、代表位置の精度が低下する、といった問題があった。
【００４３】
例えば、検出位置の時間的な連続性を考慮した際に、精度の低い検出位置の方が精度の高い検出位置よりも連続性が確保される場合には、精度の低い、即ち、実際の検出位置との誤差が大きい位置が優先されてしまうため、代表位置の精度が低下してしまう。
【００４４】
これに対して、本実施形態では、得られた複数の値データについて、それぞれの検出位置が実際に対象の位置を示している確からしさを確信度として求め、代表となる位置座標データを求める際の指標として利用する。従って、各検出値データの精度にばらつきが存在した場合であっても、精度の低い検出値データの影響を低減し、より精度の高い代表位置を算出することができる。
【００４５】
また、各センサ特性に依存した検出対象物体の位置データの誤差分布、及び過去の統合位置データから予測される予測値データと実測された検出値データとの差分、に基づいて、上述した（１）式に示した正規分布を用いて、確信度データＰ（ｒi(t)）を算出しているので、複数の検出値データが得られた際に、各検出値データで示される座標に対象となる物体が存在する確信度データＰ（ｒi(t)）を、対象となる物体の存在位置のみに依存せずに算出することができる。また、各検出手段の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００４６】
更に、統合座標算出手段１１では、確信度演算部１５にて算出された確信度データＰ（ｒi(t)）に基づいて、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する位置算出手段１４で求められた検出値データに重み付けを行い、加重平均として位置座標データｒa（t）を算出しているので、精度良く代表位置を求めることができる。
【００４７】
次に、本発明の第２の実施形態について説明する。図４は、第２の実施形態に係る周囲物体検出装置の構成を示すブロック図である。同図に示すように、この周囲物体検出装置は、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００４８】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部１３と、該センサ部１３で検出された物体と自車両との相対的な位置を示す検出値データｒi(t)を算出する位置算出手段１４と、位置算出手段１４で算出された検出値データｒi(t)に基づいて、この検出値データｒi(t)の確信度を求める確信度演算部４１と、を備えている。前述した第１の実施形態と同様に、検出値データｒi(t)の座標軸は、自車両を中心とした極座標である。また、センサ部１３は、例えばカメラであり、車両周辺の画像を撮影し、撮影された画像を画像処理することにより、周辺に存在する物体を検出する。
【００４９】
確信度算出手段４１は、過去において位置算出手段１４で求められた検出値データｒi(t)を記憶する検出座標履歴保存手段４２と、この検出座標履歴保存手段４２に記憶されている過去の位置座標を示す検出値データｒi(t-kΔt)［ｋ＝１，２，・・］を参照して、自車両周囲に存在する物体位置の予測値データｒ'i(t)を求める予測値算出手段４３とを備えている。
【００５０】
また、過去の複数回の検出フレームにおいて、検出対象となる物体が非検出であった頻度を、確信度データＰ（ｒi(t)）として求める非検出頻度算出手段４４を備えている。
【００５１】
非検出頻度算出手段４４は、過去のフレーム数をＭとし、このＭ回の検出フレームにおいて、検出対象となる物体が非検出であった回数をｎjとした際に、下記の（３）式で確信度データＰ（ｒi(t)）を求める。
【００５２】
Ｐ（ｒi(t)）＝（Ｍ−ｎj）／Ｍ ・・・（３）
次に、第２の実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、撮影により得られた画像から物体を検出して、抽出された物体の画像データを位置算出手段１４に出力する。
【００５３】
位置算出手段１４は、この画像データを画像処理して、自車両を基準とした相対的な物体の座標となる検出値データｒi(t)を求め、この検出値データｒi(t)を、検出座標履歴保存手段４２、非検出頻度算出手段４４、及び統合座標算出手段１１に出力する。
【００５４】
また、予測値算出手段４３では、検出座標履歴保存手段４２に記憶されている、過去における物体の存在位置座標から、物体の予測値データｒ'i(t)を求める。ここでは、検出座標履歴保存手段４２に記憶されている統合座標データｒi(t-kΔt)［ｋ＝１，２，・・，ｋ］を参照し、カルマンフィルタ等の周知の手法を用いて予測値データｒ'i(t)を求める。
【００５５】
次いで、非検出頻度算出手段４４では、以下の手順で、物体が非検出であった回数ｎjを求める。まず、最初の検出フレームで、位置算出手段１４による物体の検出値データｒi(t)が、存在しない場合には、ｎjをインクリメントする。即ち、ｎj＝ｎj＋１とする。
【００５６】
他方、物体の検出値データｒi(t)が、存在する場合には、予測値算出手段４３より出力される予測値データｒ'i(t)と、検出値データｒi(t)とに基づき、これらの間の距離が所定の閾値ｄmax以上であるかどうかを判定する。これらの間の距離が閾値ｄmax未満であれば、対象物体が検出されたものと判断し、閾値ｄmax以上であれば、対象物体とは異なる他の物体であるものと判断し、非検知と判断する。
【００５７】
具体的には、検出値データｒi(t)のｘ座標をｘi(t)、ｙ座標をｙi(t)とし、予測値データｒ'i(t)のｘ座標をｘ'i(t)、ｙ座標をｙ'i(t)とし、且つ、ｄｘ＝ｘi(t)−ｘ'i(t)、ｄｙ＝ｙi(t)−ｙ'i(t)とした場合に、以下の（４）が成立したときに、検知したものと判断し、成立しないときに、非検知と判断する。
【００５８】
ｄｘ２＋ｄｙ２＜ｄmax ・・・（４）
即ち、（４）式を満たせばｎj＝ｎj−１とし、満たさなければｎj＝ｎj＋１とする。こうして求められた非検知の回数ｎjを、上述した（３）式に代入することにより、確信度データＰ（ｒi(t)）を求める。
【００５９】
その後、統合座標算出手段１１では、この確信度データＰ（ｒi(t)）、及び検出値データｒi(t)に基づいて、第１の実施形態と同様の手順で、対象物体の位置を求める。即ち、上述した（２）式にこれらの各データＰ（ｒi(t)）、ｒi(t)を代入することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による、重み付け処理された位置座標データｒa(t)が求められ、この位置座標データｒa(t)に基づく鳥瞰画像が表示手段１２にて表示される。
【００６０】
このようにして、第２の実施形態に係る周囲物体検出装置では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データを用いる際に、その検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・での非検出の頻度を求め、非検出の頻度が多い検出手段で検出された位置座標データは、その重みを小さくし、反対に非検出の頻度が少ない検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データは、その重みを大きくして統合座標となる位置座標データｒa(t)を求めるようにしているので、信頼性の高い物体位置の検出が可能となる。
【００６１】
即ち、センサ部１３の非検出の頻度を確信度として利用しているので、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・が有する位置算出手段１４にて、複数の相違する検出値データが得られた際に、各検出値データとなる位置に対象となる物体が存在する確信度を、対象となる物体の検出値データのみに依存せずに算出することができる。また、各検出手段の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００６２】
次に、本発明の第３の実施形態について説明する。図５は、第３の実施形態に係る周囲物体検出装置の構成を示すブロック図である。同図に示すように、この周囲物体検出装置は、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００６３】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部１３と、検出対象となる物体の形状の特徴を任意の次元で表現したテンプレートを作成するテンプレート作成手段５１と、このテンプレート作成手段５１で作成されたテンプレートを記憶保存するテンプレート保存手段５３と、センサ部１３で検出された物体の画像データを、テンプレート保存手段５３に保存されている各種のテンプレートと照合するテンプレート照合手段５２と、確信度演算部５４と、物体の位置を検出する位置算出手段５５とを備えている。
【００６４】
テンプレート作成手段５１は、例えば、検出対象の形状を２次元の輝度情報として表現してテンプレートを作成する。
【００６５】
テンプレート照合手段５２は、センサ部１３で検出された画像データ中に存在する物体と、テンプレート保存手段５３に保存されている各種のテンプレートとを照合し、一般的な正規化相関の手法を用いて、物体と最も高い相関値を示すテンプレートを選択し、且つ、この物体の画像中での位置データ（Ｘｉ，Ｙｉ）を検出する。更に、このときの相関値Ｉdiffを以下に示す（５）式にて算出する。
【数３】
【００６６】
但し、Ｎはテンプレートの有効画素数、ｕはＸ座標、ｖはＹ座標、ｇはテンプレート画像、ｆはサーチ対象画像を示す。
【００６７】
確信度演算部５４は、整合性算出手段５４を備えており、テンプレート照合手段５２より出力される相関値Ｉdiffを、確信度データＰ（ｒi(t)）として統合座標算出手段１１に出力する。
【００６８】
位置算出手段５５は、テンプレート照合手段５２より出力される物体の幾何学的な位置座標データ（Ｘｉ，Ｙｉ）に基づいて、対象物体と自車両との相対的な位置座標を示す検出値データｒi（t）を算出し、統合座標算出手段１１に出力する。
【００６９】
次に、第３の実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、この画像に含まれる物体の画像データをテンプレート照合手段５２に出力する。
【００７０】
そして、テンプレート照合手段５２は、入力された画像データを画像処理し、画像中に含まれる物体と、テンプレート保存手段５３に記憶されている各種のテンプレートとの相関値Ｉdiffを求める。この処理は、上述した（５）式を用いることにより行われる。
【００７１】
そして、相関値が最も大きくなる物体の位置座標データ（Ｘｉ，Ｙｉ）を求めて位置算出手段５５に出力すると共に、このときの相関値Ｉdiffを整合性算出手段５４に出力する。これにより、整合性算出手段５４では、相関値Ｉdiffを確信度データＰ（ｒi(t)）として統合座標算出手段１１に出力する。また、位置算出手段５５では、位置座標データ（Ｘｉ，Ｙｉ）に基づき、対象となる物体と自車両との相対位置座標となる検出値データｒi（t）を求め、この検出値データｒi（t）を統合座標算出手段１１に出力する。
【００７２】
その後、統合座標算出手段１１では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められる確信度データＰ（ｒi(t)）、及び検出値データｒi(t)に基づいて、第１，第２の実施形態と同様の手順で、対象物体の位置を求める。即ち、上述した（２）式にこれらの各データＰ（ｒi(t)）、ｒi(t)を代入することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による、重み付け処理された位置座標データｒa(t)が求められ、この位置座標データｒa(t)に基づく鳥瞰画像が表示手段１２にて表示される。
【００７３】
このようにして、第３の実施形態に係る周囲物体検出装置では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・のセンサ部１３で求められた物体の画像データをテンプレート処理し、対象物体とテンプレートとの相関値が最も大きくなる位置の座標と、そのときの相関値Ｉdiffに基づいて、確信度データＰ（ｒi(t)）を設定し、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・毎の確信度データに応じた重み付け処理が行われて、対象物体の自車両に対する相対的な位置座標データｒa(t)が求められるので、極めて高精度な物体位置の検出が可能となる。
【００７４】
即ち、各センサ部１３で検出された物体の画像とテンプレートとの合致度合いが高いほど大きな値を示す正規化された評価量を確信度として利用しているので、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する位置算出手段５５にて、複数の相違する検出値データが検出された際に、各検出値データが示す位置に、対象となる物体が存在する確信度を、物体の位置のみに依存せずに算出することができる。また、各センサ部１３の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００７５】
以上、本発明の移動体の周囲物体検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００７６】
例えば、上記した各実施形態では、移動体として車両を例に挙げて説明したが、本発明はこれに限定されるものではなく、他の移動体においても適用することができるものである。
【産業上の利用可能性】
【００７７】
移動体の周囲に存在する障害物等の物体を高精度に検出する上で極めて有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【図２】複数のセンサ部による検出領域を示す説明図である。
【図３】自車両とその周辺に存在する他車両を鳥瞰図表示した例を示す説明図である。
【図４】本発明の第２の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【図５】本発明の第３の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【符号の説明】
【００７９】
１１ 統合座標算出手段
１２ 表示手段
１３ センサ部
１４ 位置算出手段
１５ 確信度演算部
１６ 統合座標履歴保存手段
１７ 予測値算出手段
１８ 誤差分布保存手段
１９ 誤差分布参照手段
２０ 差分算出手段
２１ 確信度算出手段
３１ 自車両
３２〜３４ センサ
３５〜３７ 検出範囲
３８，３９ 検出点
４１ 確信度演算部
４２ 検出座標履歴保存手段
４３ 予測値算出手段
４４ 非検出頻度算出手段
５１ テンプレート作成手段
５２ テンプレート照合手段
５３ テンプレート保存手段
５４ 整合性算出手段
５５ 位置算出手段
６２ 自車両
６３ 物体
Ｘ（ｉ），Ｘ（ｉ＋１），・・ 検出手段
【技術分野】
【０００１】
本発明は、車両等の移動体の周囲に存在する障害物等の物体を検出する周囲物体検出装置及び方法に関する。
【背景技術】
【０００２】
従来における周囲物体検出装置として、例えば特開平７−１５８５６号公報（特許文献１）に記載されたものが知られている。
【０００３】
該特許文献１に開示された技術は、例えば、レーダ等で対象物を追跡する際に、追跡範囲を特定することを目的としており、ある時刻における検出点の分布と予測値に基づいて代表点を算出し、算出した代表点と前回の処理時刻における代表点とから、線形に次回の処理時刻における予測位置を算出し、追跡位置とする。
【０００４】
更に、検出点の分布を正規分布に当てはめ、この分布に基づいて注目点に車両が存在する確率を求める。また、１つ前と２つ前の処理時刻における代表位置から、今回の処理時刻における代表位置を線形に予測する。
【０００５】
そして、予測位置と分布の中心が十分離れていた場合には、予測位置と分布の中心とを結んだ直線上における、前記の正規分布に基づく存在確率が任意の値となる位置を、代表位置とする。予測位置と分布との中心とが近ければ、両者の中間位置を代表位置にする。
【特許文献１】特開平７−１５１８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された技術では、検出点の分布を正規分布に当てはめて、注目位置の対象が存在する確率を求めるという構成になっているので、精度の良い分布を求めるためには多数の検出点が必要であり、例えば２点等の少ない検出位置が得られた際には、分布が得られない、或いは、分布の精度が低くなるという問題点が発生する。
【０００７】
この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、検出精度を向上させることのできる移動体の周囲物体検出装置及び方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本願の装置発明は、移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出装置において、複数の検出手段を有し、前記各検出手段は、移動体周囲に存在する物体を検出するセンサ手段と、前記センサ手段で検出される前記物体と、前記移動体との間の相対的な位置データを求める位置検出手段と、前記位置検出手段で求められた位置データに基づいて、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算手段と、を有し、前記各検出手段で求められた前記確信度データに基づいて、この検出手段で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出手段を備えたことを特徴とする。
【０００９】
また、本願の方法発明は、移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出方法において、センサ手段を用いて、前記移動体周囲に存在する物体を検出する物体検出工程と、前記物体検出工程で検出された前記物体と、前記移動体との間の相対位置データを求める位置算出工程と、前記位置算出工程で得られた前記相対位置データに基づき、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算工程と、からなる検出工程を複数有し、前記各検出工程で求められた前記確信度データを用いて、その検出工程での前記位置算出工程で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出工程を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明に係る移動体の周囲物体検出装置及び方法では、移動体の周辺に、障害物等の物体が存在する場合に、この物体を複数の検出手段で検出し、各検出手段で検出された物体の検出値データの確信度に基づいて、各検出手段で検出された検出値データの重み付け処理を行い、その結果として、物体の統合座標を算出している。
【００１１】
従って、検出精度の低い検出手段で検出されたデータの重み付けが低くなり、検出精度の高い検出手段で検出されたデータの重み付けが高くなるので、各検出手段で検出される物体位置が相違する場合であっても、物体の真の位置と同一の位置座標、或いは極めて近い位置座標を求めることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態に係る移動体の周囲物体検出装置の構成を示すブロック図である。
【００１３】
同図に示すように、本実施形態は、移動体が車両の場合を例に挙げており、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００１４】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部（センサ手段）１３と、該センサ部１３で検出される物体と自車両との間の相対位置を示す検出値データｒi(t)を算出する位置算出手段１４と、位置算出手段１４で算出された検出値データｒi(t)に基づいて、この位置座標の確信度データＰ（ｒi）を求める確信度演算部１５と、を備えている。位置座標を示す検出値データｒi(t)の座標軸は、自車両を中心とした極座標である。また、センサ部１３は、例えばカメラであり、車両周辺の画像を撮影し、且つ撮影された画像に対し濃淡処理等の周知の手法を適用することにより、車両の周辺に存在する物体を検出する。また、センサ部１３は、カメラ以外として、ミリ波レーダ、超音波レーダ等を用いることも可能である。
【００１５】
また、確信度演算部１５は、過去において統合座標算出手段１１（後述）にて算出された統合座標を示す位置座標データｒa(t)を記憶する統合座標履歴保存手段１６と、この統合座標履歴保存手段１６に記憶されている過去の統合座標を示す位置座標データｒa(t-kΔt)［ｋ＝１，２，・・］を参照して、自車両周囲に存在する物体位置の予測値データｒ'a(t)を求める予測値算出手段１７とを備えている。
【００１６】
更に、自車位置と物体との相対位置に依存した誤差分布データσ2（ｒ'a（t））を記憶する誤差分布保存手段１８と、予測値算出手段より予測値データｒ'a(t)が与えられた際に、この予測値データｒ'a(t)に対応する誤差分布データσ2(ｒ'a（t）)を誤差分布保存手段１８より読み出す誤差分布参照手段１９と、予測値算出手段１７で求められた物体位置の予測値データｒ'a(t)と、位置算出手段１４で求められた検出値データｒi(t)との差分、即ち、「ｒi(t)−ｒ'a(t)」を演算する差分算出手段２０と、を備えている。
【００１７】
また、差分算出手段２０より与えられる差分データ「ｒi(t)−ｒ'a(t)」と、誤差分布参照手段１９で読み出した、予測値データｒ'a(t)に対応する誤差分布データσ2(ｒ'a（t）)に基づいて、位置算出手段１４で求めた検出値データｒi(t)の値の確信度Ｐ（ｒi）を求める確信度算出手段２１とを備えている。
【００１８】
統合座標算出手段１１は、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められる物体位置の検出値データｒi(t)と確信度算出手段２１で求められた確信度データＰ（ｒi）に基づいて、対象物体の位置座標データｒa(t)を求め、この位置座標データｒa(t)を統合座標履歴保存手段１６に出力し、且つ表示手段１２に出力する。
【００１９】
表示手段１２は、統合座標算出手段１１で算出された位置座標データｒa(t)に基づいて、例えば対象物体の鳥瞰図を作成し、画面表示する。
【００２０】
次に、上述のように構成された、本実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、この画像から画像処理により抽出される物体の画像データを位置算出手段１４に出力する。
【００２１】
位置算出手段１４は、この画像データを画像処理して、自車両を基準とした物体の相対的な位置座標となる検出値データｒi(t)を求め、この検出値データｒi(t)を、差分算出手段２０及び統合座標算出手段１１に出力する。また、予測値算出手段１７では、統合座標履歴保存手段１６に記憶されている、過去における物体存在位置となる統合座標から、物体の予測値データｒ'a(t)を求める。ここでは、統合座標履歴保存手段１６に記憶されている統合座標を示す位置座標データｒa(t-kΔt)［ｋ＝１，２，・・，ｋ］を参照し、カルマンフィルタ等の周知の手法を用いて予測値データｒ'a(t)を求める。
【００２２】
次いで、差分算出手段２０では、検出された検出値データｒi(t)と予測された予測値データｒ'a(t)との差分ベクトル「ｒi(t)−ｒ'a(t)＝ｄｉ」を算出し、この差分ベクトルｄｉを確信度算出手段２１に出力する。
【００２３】
また、誤差分布参照手段１９は、予測値算出手段１７で求められた予測値データｒ'a(t)に基づき、誤差分布保存手段１８を参照して、この予測値データｒ'a(t)に対応する誤差分布σ2（ｒ'a(t)）を求める。そして、この誤差分布データσ2（ｒ'a(t)）を確信度算出手段２１に出力する。
【００２４】
その結果、確信度算出手段２１には、上記の差分ベクトルｄｉと、誤差分布データσ2（ｒ'a(t)）が与えられ、これらのデータに基づいて、以下に示す（１）式で２次元正規分布を算出し、確信度データＰ（ｒi(t)）として出力する。
【数１】
【００２５】
なお、（１）式において、「Ｖ」は正規化された分散共分散行列を示し、「det」は行列式を示し、「Ｔ」は転置を示す。
【００２６】
そして、上記の処理を各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で実行することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められた検出値データｒi(t)、及び確信度データＰ（ｒi(t)）［ｉ＝１，２，・・］が統合座標算出手段１１に供給される。
【００２７】
そして、統合座標算出手段１１では、以下に示す（２）式を用いて、対象となる物体の位置座標データｒa(t)を、確信度データで重み付けした加重平均として求める。
【数２】
【００２８】
そして、上記の（２）式で求められた、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による位置座標データｒa(t)は、それぞれの検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する統合座標履歴保存手段１６に出力され、記憶保存される。
【００２９】
更に、統合座標算出手段１１では、（２）式で求められた位置座標データｒa(t)を表示手段１２に出力し、該表示手段１２では、この位置座標データｒa(t)に基づいて、例えば、図２に示すように、対象となる物体６３自車両６２との相対的な位置関係を鳥瞰図として画面表示する。これにより、車両の乗員は、車両の周辺に存在する物体と自車両との位置関係を視覚的に認識することができる。
【００３０】
なお、予測位置から任意の閾値以上離れている検出点が任意の判断時間に亘って存在し続けている場合には、異なる検出対象物について出力された検出点であるものとして、新規の物体位置の検出処理を開始する。
【００３１】
このようにして、本実施形態に係る移動体の周囲物体検出装置では、移動体としての自車両周辺に、他車両或いは障害物等の物体が存在する場合に、この物体を複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出し、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された物体の検出値データｒi（t）の確信度に基づいて、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データｒi（t）の重み付け処理を行い、その結果として統合座標となる位置座標データｒa(t)を算出している。
【００３２】
従って、例えば、図３に示すように、自車両３１に３個のセンサ３２〜３４（図１のセンサ１３に相当する）が設けられ、且つ各センサ３２〜３４の検出領域が領域３５〜３７である場合を例に挙げると、センサ３２で符号３８の位置に物体が検出され、センサ３３で符号３９の位置に物体が検出された場合には、これらの位置座標として求められた各検出値データｒi（t）に基づいて統合された位置座標データｒa(t)が求められることになり、その結果、周囲物体の検出精度を著しく向上させることができる。
【００３３】
即ち、複数のセンサを備えて車両の周辺に存在する物体を監視する方式を用いる際には、各センサの検出対象領域が重複する部分に物体が存在する際に、これらのセンサが検出する物体の存在位置が必ずしも一致するとは限らない。むしろ、異なる位置データを検出する場合の方が多い。本実施形態では、複数のセンサで、検出対象となる同一物体の位置データを複数個取得した際に、これらの位置データから、より真の位置に近い位置データを求めるようにしている。
【００３４】
具体的には、例えば、図３に示した場合を例に挙げると、各センサ３２，３３，３４の検出領域が、領域３５，３６，３７に示す形状であったとき、各検出領域３２，３３，３４の間には、共通となる検出領域が存在する。
【００３５】
このような場合で、検出領域３５と３６の境界付近に、他車両等の物体が存在した場合を考え、センサ３２が領域３８の検出値データを出力し、センサ３３が領域３９の検出値データを出力したとする。
【００３６】
ここで、２つの検出値データが異なる要因としては、３つの項目が挙げられる。１つ目としては、各センサ３２，３３の取り付け位置が異なるため、検出対象物について各センサ３２，３３が獲得できる情報が異なることが挙げられる。例えば、画像センサであれば、対象の見え方が異なることに起因する。
【００３７】
２つ目としては、各センサ３２，３３の検出ロジックが異なる場合、ロジックに依存して検出位置が異なることが挙げられる。
【００３８】
３つ目としては、各センサ３２，３３のハード的な構成自体が異なる場合に、各センサ３２，３３が利用する情報が異なること挙げられる。例えば、センサ３２がミリ波レーダで、センサ３３が画像センサ、といった構成であれば、このような３つ目の要因が生じる。
【００３９】
以上のような理由から、複数のセンサが同一の対象物体に対して、異なる位置データを出力することは、容易に起こり得る。また、この例では複数のセンサによる検出領域が部分的に重複している場合を考えたが、重複していなくても検出領域が近接していれば、同様の現象は起こり得る。
【００４０】
本実施形態では、このような、同一の対象物体に対して異なる位置データが検出された際に、装置全体として、対象物体に対応した単一の位置データを、代表となる位置データとして求める際に極めて有効である。
【００４１】
従来の手法では、このような場合において、代表となる位置座標データを求める際に、各センサが出力する対象物体の検出値データのみを情報として利用し、例えば、出力点の空間的な分布や時間的な位置の連続性から、代表位置を求めるのが一般的であった。
【００４２】
しかし、従来の手法では、検出点の数が少ない場合は空間的な分布を求めることが困難であり、また、検出点の中に精度の低い値が含まれていた場合でも、精度の高い検出点と同様の重みで扱うため、代表位置の精度が低下する、といった問題があった。
【００４３】
例えば、検出位置の時間的な連続性を考慮した際に、精度の低い検出位置の方が精度の高い検出位置よりも連続性が確保される場合には、精度の低い、即ち、実際の検出位置との誤差が大きい位置が優先されてしまうため、代表位置の精度が低下してしまう。
【００４４】
これに対して、本実施形態では、得られた複数の値データについて、それぞれの検出位置が実際に対象の位置を示している確からしさを確信度として求め、代表となる位置座標データを求める際の指標として利用する。従って、各検出値データの精度にばらつきが存在した場合であっても、精度の低い検出値データの影響を低減し、より精度の高い代表位置を算出することができる。
【００４５】
また、各センサ特性に依存した検出対象物体の位置データの誤差分布、及び過去の統合位置データから予測される予測値データと実測された検出値データとの差分、に基づいて、上述した（１）式に示した正規分布を用いて、確信度データＰ（ｒi(t)）を算出しているので、複数の検出値データが得られた際に、各検出値データで示される座標に対象となる物体が存在する確信度データＰ（ｒi(t)）を、対象となる物体の存在位置のみに依存せずに算出することができる。また、各検出手段の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００４６】
更に、統合座標算出手段１１では、確信度演算部１５にて算出された確信度データＰ（ｒi(t)）に基づいて、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する位置算出手段１４で求められた検出値データに重み付けを行い、加重平均として位置座標データｒa（t）を算出しているので、精度良く代表位置を求めることができる。
【００４７】
次に、本発明の第２の実施形態について説明する。図４は、第２の実施形態に係る周囲物体検出装置の構成を示すブロック図である。同図に示すように、この周囲物体検出装置は、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００４８】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部１３と、該センサ部１３で検出された物体と自車両との相対的な位置を示す検出値データｒi(t)を算出する位置算出手段１４と、位置算出手段１４で算出された検出値データｒi(t)に基づいて、この検出値データｒi(t)の確信度を求める確信度演算部４１と、を備えている。前述した第１の実施形態と同様に、検出値データｒi(t)の座標軸は、自車両を中心とした極座標である。また、センサ部１３は、例えばカメラであり、車両周辺の画像を撮影し、撮影された画像を画像処理することにより、周辺に存在する物体を検出する。
【００４９】
確信度算出手段４１は、過去において位置算出手段１４で求められた検出値データｒi(t)を記憶する検出座標履歴保存手段４２と、この検出座標履歴保存手段４２に記憶されている過去の位置座標を示す検出値データｒi(t-kΔt)［ｋ＝１，２，・・］を参照して、自車両周囲に存在する物体位置の予測値データｒ'i(t)を求める予測値算出手段４３とを備えている。
【００５０】
また、過去の複数回の検出フレームにおいて、検出対象となる物体が非検出であった頻度を、確信度データＰ（ｒi(t)）として求める非検出頻度算出手段４４を備えている。
【００５１】
非検出頻度算出手段４４は、過去のフレーム数をＭとし、このＭ回の検出フレームにおいて、検出対象となる物体が非検出であった回数をｎjとした際に、下記の（３）式で確信度データＰ（ｒi(t)）を求める。
【００５２】
Ｐ（ｒi(t)）＝（Ｍ−ｎj）／Ｍ ・・・（３）
次に、第２の実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、撮影により得られた画像から物体を検出して、抽出された物体の画像データを位置算出手段１４に出力する。
【００５３】
位置算出手段１４は、この画像データを画像処理して、自車両を基準とした相対的な物体の座標となる検出値データｒi(t)を求め、この検出値データｒi(t)を、検出座標履歴保存手段４２、非検出頻度算出手段４４、及び統合座標算出手段１１に出力する。
【００５４】
また、予測値算出手段４３では、検出座標履歴保存手段４２に記憶されている、過去における物体の存在位置座標から、物体の予測値データｒ'i(t)を求める。ここでは、検出座標履歴保存手段４２に記憶されている統合座標データｒi(t-kΔt)［ｋ＝１，２，・・，ｋ］を参照し、カルマンフィルタ等の周知の手法を用いて予測値データｒ'i(t)を求める。
【００５５】
次いで、非検出頻度算出手段４４では、以下の手順で、物体が非検出であった回数ｎjを求める。まず、最初の検出フレームで、位置算出手段１４による物体の検出値データｒi(t)が、存在しない場合には、ｎjをインクリメントする。即ち、ｎj＝ｎj＋１とする。
【００５６】
他方、物体の検出値データｒi(t)が、存在する場合には、予測値算出手段４３より出力される予測値データｒ'i(t)と、検出値データｒi(t)とに基づき、これらの間の距離が所定の閾値ｄmax以上であるかどうかを判定する。これらの間の距離が閾値ｄmax未満であれば、対象物体が検出されたものと判断し、閾値ｄmax以上であれば、対象物体とは異なる他の物体であるものと判断し、非検知と判断する。
【００５７】
具体的には、検出値データｒi(t)のｘ座標をｘi(t)、ｙ座標をｙi(t)とし、予測値データｒ'i(t)のｘ座標をｘ'i(t)、ｙ座標をｙ'i(t)とし、且つ、ｄｘ＝ｘi(t)−ｘ'i(t)、ｄｙ＝ｙi(t)−ｙ'i(t)とした場合に、以下の（４）が成立したときに、検知したものと判断し、成立しないときに、非検知と判断する。
【００５８】
ｄｘ２＋ｄｙ２＜ｄmax ・・・（４）
即ち、（４）式を満たせばｎj＝ｎj−１とし、満たさなければｎj＝ｎj＋１とする。こうして求められた非検知の回数ｎjを、上述した（３）式に代入することにより、確信度データＰ（ｒi(t)）を求める。
【００５９】
その後、統合座標算出手段１１では、この確信度データＰ（ｒi(t)）、及び検出値データｒi(t)に基づいて、第１の実施形態と同様の手順で、対象物体の位置を求める。即ち、上述した（２）式にこれらの各データＰ（ｒi(t)）、ｒi(t)を代入することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による、重み付け処理された位置座標データｒa(t)が求められ、この位置座標データｒa(t)に基づく鳥瞰画像が表示手段１２にて表示される。
【００６０】
このようにして、第２の実施形態に係る周囲物体検出装置では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データを用いる際に、その検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・での非検出の頻度を求め、非検出の頻度が多い検出手段で検出された位置座標データは、その重みを小さくし、反対に非検出の頻度が少ない検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・で検出された検出値データは、その重みを大きくして統合座標となる位置座標データｒa(t)を求めるようにしているので、信頼性の高い物体位置の検出が可能となる。
【００６１】
即ち、センサ部１３の非検出の頻度を確信度として利用しているので、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１）・・が有する位置算出手段１４にて、複数の相違する検出値データが得られた際に、各検出値データとなる位置に対象となる物体が存在する確信度を、対象となる物体の検出値データのみに依存せずに算出することができる。また、各検出手段の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００６２】
次に、本発明の第３の実施形態について説明する。図５は、第３の実施形態に係る周囲物体検出装置の構成を示すブロック図である。同図に示すように、この周囲物体検出装置は、車両の周囲に存在する物体を検出する複数の検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・と、統合座標算出手段１１と、表示手段１２とを備えている。図では、検出手段Ｘ（ｉ）の詳細構成のみを示しているが、他の検出手段も同様の構成を有している。
【００６３】
検出手段Ｘ（ｉ）は、車両の適所に設けられ、自車両周辺に存在する物体を検出するセンサ部１３と、検出対象となる物体の形状の特徴を任意の次元で表現したテンプレートを作成するテンプレート作成手段５１と、このテンプレート作成手段５１で作成されたテンプレートを記憶保存するテンプレート保存手段５３と、センサ部１３で検出された物体の画像データを、テンプレート保存手段５３に保存されている各種のテンプレートと照合するテンプレート照合手段５２と、確信度演算部５４と、物体の位置を検出する位置算出手段５５とを備えている。
【００６４】
テンプレート作成手段５１は、例えば、検出対象の形状を２次元の輝度情報として表現してテンプレートを作成する。
【００６５】
テンプレート照合手段５２は、センサ部１３で検出された画像データ中に存在する物体と、テンプレート保存手段５３に保存されている各種のテンプレートとを照合し、一般的な正規化相関の手法を用いて、物体と最も高い相関値を示すテンプレートを選択し、且つ、この物体の画像中での位置データ（Ｘｉ，Ｙｉ）を検出する。更に、このときの相関値Ｉdiffを以下に示す（５）式にて算出する。
【数３】
【００６６】
但し、Ｎはテンプレートの有効画素数、ｕはＸ座標、ｖはＹ座標、ｇはテンプレート画像、ｆはサーチ対象画像を示す。
【００６７】
確信度演算部５４は、整合性算出手段５４を備えており、テンプレート照合手段５２より出力される相関値Ｉdiffを、確信度データＰ（ｒi(t)）として統合座標算出手段１１に出力する。
【００６８】
位置算出手段５５は、テンプレート照合手段５２より出力される物体の幾何学的な位置座標データ（Ｘｉ，Ｙｉ）に基づいて、対象物体と自車両との相対的な位置座標を示す検出値データｒi（t）を算出し、統合座標算出手段１１に出力する。
【００６９】
次に、第３の実施形態に係る周囲物体検出装置の動作について説明する。車両走行中において、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する例えばカメラ等のセンサ部１３は、自車両の周囲画像を撮影し、この画像に含まれる物体の画像データをテンプレート照合手段５２に出力する。
【００７０】
そして、テンプレート照合手段５２は、入力された画像データを画像処理し、画像中に含まれる物体と、テンプレート保存手段５３に記憶されている各種のテンプレートとの相関値Ｉdiffを求める。この処理は、上述した（５）式を用いることにより行われる。
【００７１】
そして、相関値が最も大きくなる物体の位置座標データ（Ｘｉ，Ｙｉ）を求めて位置算出手段５５に出力すると共に、このときの相関値Ｉdiffを整合性算出手段５４に出力する。これにより、整合性算出手段５４では、相関値Ｉdiffを確信度データＰ（ｒi(t)）として統合座標算出手段１１に出力する。また、位置算出手段５５では、位置座標データ（Ｘｉ，Ｙｉ）に基づき、対象となる物体と自車両との相対位置座標となる検出値データｒi（t）を求め、この検出値データｒi（t）を統合座標算出手段１１に出力する。
【００７２】
その後、統合座標算出手段１１では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・で求められる確信度データＰ（ｒi(t)）、及び検出値データｒi(t)に基づいて、第１，第２の実施形態と同様の手順で、対象物体の位置を求める。即ち、上述した（２）式にこれらの各データＰ（ｒi(t)）、ｒi(t)を代入することにより、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・の検出結果の統合による、重み付け処理された位置座標データｒa(t)が求められ、この位置座標データｒa(t)に基づく鳥瞰画像が表示手段１２にて表示される。
【００７３】
このようにして、第３の実施形態に係る周囲物体検出装置では、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・のセンサ部１３で求められた物体の画像データをテンプレート処理し、対象物体とテンプレートとの相関値が最も大きくなる位置の座標と、そのときの相関値Ｉdiffに基づいて、確信度データＰ（ｒi(t)）を設定し、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・毎の確信度データに応じた重み付け処理が行われて、対象物体の自車両に対する相対的な位置座標データｒa(t)が求められるので、極めて高精度な物体位置の検出が可能となる。
【００７４】
即ち、各センサ部１３で検出された物体の画像とテンプレートとの合致度合いが高いほど大きな値を示す正規化された評価量を確信度として利用しているので、各検出手段Ｘ（ｉ），Ｘ（ｉ＋１），・・が有する位置算出手段５５にて、複数の相違する検出値データが検出された際に、各検出値データが示す位置に、対象となる物体が存在する確信度を、物体の位置のみに依存せずに算出することができる。また、各センサ部１３の確信度は正規化されるので、統合座標算出手段１１で共通の指標として扱うことができる。
【００７５】
以上、本発明の移動体の周囲物体検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００７６】
例えば、上記した各実施形態では、移動体として車両を例に挙げて説明したが、本発明はこれに限定されるものではなく、他の移動体においても適用することができるものである。
【産業上の利用可能性】
【００７７】
移動体の周囲に存在する障害物等の物体を高精度に検出する上で極めて有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【図２】複数のセンサ部による検出領域を示す説明図である。
【図３】自車両とその周辺に存在する他車両を鳥瞰図表示した例を示す説明図である。
【図４】本発明の第２の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【図５】本発明の第３の実施形態に係る移動体の周囲物体検出装置の基本構成を示すブロック図である。
【符号の説明】
【００７９】
１１ 統合座標算出手段
１２ 表示手段
１３ センサ部
１４ 位置算出手段
１５ 確信度演算部
１６ 統合座標履歴保存手段
１７ 予測値算出手段
１８ 誤差分布保存手段
１９ 誤差分布参照手段
２０ 差分算出手段
２１ 確信度算出手段
３１ 自車両
３２〜３４ センサ
３５〜３７ 検出範囲
３８，３９ 検出点
４１ 確信度演算部
４２ 検出座標履歴保存手段
４３ 予測値算出手段
４４ 非検出頻度算出手段
５１ テンプレート作成手段
５２ テンプレート照合手段
５３ テンプレート保存手段
５４ 整合性算出手段
５５ 位置算出手段
６２ 自車両
６３ 物体
Ｘ（ｉ），Ｘ（ｉ＋１），・・ 検出手段
【特許請求の範囲】
【請求項１】
移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出装置において、
複数の検出手段を有し、
前記各検出手段は、移動体周囲に存在する物体を検出するセンサ手段と、
前記センサ手段で検出される前記物体と、前記移動体との間の相対的な位置データを求める位置検出手段と、
前記位置検出手段で求められた相対位置データに基づいて、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算手段と、を有し、
前記各検出手段で求められた前記確信度データに基づいて、この検出手段で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出手段を備えたことを特徴とする移動体の周囲物体検出装置。
【請求項２】
前記確信度演算手段は、前記位置算出手段で求められる実測による相対位置データと、基準となるデータより得られる予測位置データに基づいて、前記確信度データを求めることを特徴とする請求項１に記載の移動体の周囲物体検出装置。
【請求項３】
前記確信度演算手段は、前記実測による相対位置データと、前記予測位置データとの間の誤差に基づいて、前記確信度データを求めることを特徴とする請求項２に記載の移動体の周囲物体検出装置。
【請求項４】
前記確信度演算手段は、前記予測位置データに対応する前記実測による相対位置データが検出される頻度に応じて、前記確信度データを求めることを特徴とする請求項２に記載の移動体の周囲物体検出装置。
【請求項５】
前記基準となるデータは、過去の検出データであることを特徴とする請求項２〜請求項４のいずれか１項に記載の移動体の周囲物体検出装置。
【請求項６】
前記センサ手段は、移動体の周囲画像を撮影するカメラであり、
前記カメラで撮影された画像から取得される物体と、予め設定したテンプレートとの相関値を求めるテンプレート照合手段を備え、前記確信度演算手段は、前記相関値に基づいて、前記確信度データを求めることを特徴とする請求項１に記載の移動体の周囲物体検出装置。
【請求項７】
前記移動体は車両であることを特徴とする請求項１〜請求項６のいずれか１項に記載の移動体の周囲物体検出装置。
【請求項８】
移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出方法において、
センサ手段を用いて、前記移動体周囲に存在する物体を検出する物体検出工程と、
前記物体検出工程で検出された前記物体と、前記移動体との間の相対位置データを求める位置算出工程と、
前記位置算出工程で得られた前記相対位置データに基づき、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算工程と、からなる検出工程を複数有し、
前記各検出工程で求められた前記確信度データを用いて、その検出工程での前記位置算出工程で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出工程を備えたことを特徴とする移動体の周囲物体検出方法。
【請求項１】
移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出装置において、
複数の検出手段を有し、
前記各検出手段は、移動体周囲に存在する物体を検出するセンサ手段と、
前記センサ手段で検出される前記物体と、前記移動体との間の相対的な位置データを求める位置検出手段と、
前記位置検出手段で求められた相対位置データに基づいて、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算手段と、を有し、
前記各検出手段で求められた前記確信度データに基づいて、この検出手段で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出手段を備えたことを特徴とする移動体の周囲物体検出装置。
【請求項２】
前記確信度演算手段は、前記位置算出手段で求められる実測による相対位置データと、基準となるデータより得られる予測位置データに基づいて、前記確信度データを求めることを特徴とする請求項１に記載の移動体の周囲物体検出装置。
【請求項３】
前記確信度演算手段は、前記実測による相対位置データと、前記予測位置データとの間の誤差に基づいて、前記確信度データを求めることを特徴とする請求項２に記載の移動体の周囲物体検出装置。
【請求項４】
前記確信度演算手段は、前記予測位置データに対応する前記実測による相対位置データが検出される頻度に応じて、前記確信度データを求めることを特徴とする請求項２に記載の移動体の周囲物体検出装置。
【請求項５】
前記基準となるデータは、過去の検出データであることを特徴とする請求項２〜請求項４のいずれか１項に記載の移動体の周囲物体検出装置。
【請求項６】
前記センサ手段は、移動体の周囲画像を撮影するカメラであり、
前記カメラで撮影された画像から取得される物体と、予め設定したテンプレートとの相関値を求めるテンプレート照合手段を備え、前記確信度演算手段は、前記相関値に基づいて、前記確信度データを求めることを特徴とする請求項１に記載の移動体の周囲物体検出装置。
【請求項７】
前記移動体は車両であることを特徴とする請求項１〜請求項６のいずれか１項に記載の移動体の周囲物体検出装置。
【請求項８】
移動体に搭載され、該移動体の周囲に存在する物体を検出する移動体の周囲物体検出方法において、
センサ手段を用いて、前記移動体周囲に存在する物体を検出する物体検出工程と、
前記物体検出工程で検出された前記物体と、前記移動体との間の相対位置データを求める位置算出工程と、
前記位置算出工程で得られた前記相対位置データに基づき、前記移動体と前記物体との間の相対位置データの確信度データを求める確信度演算工程と、からなる検出工程を複数有し、
前記各検出工程で求められた前記確信度データを用いて、その検出工程での前記位置算出工程で求められた前記相対位置データを重み付け処理し、重み付け処理された前記各相対位置データに基づいて、前記移動体と前記物体との相対位置を求める統合座標算出工程を備えたことを特徴とする移動体の周囲物体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−９０９５７（Ｐ２００６−９０９５７Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７９６１０（Ｐ２００４−２７９６１０）
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２７日（２００４．９．２７）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]