説明

障害物検出装置

【課題】障害物検出装置での障害物検出処理において、演算オーバーヘッドの増大を抑制するとともに、歩行者などの障害物の誤検出や未検出の件数を効果的に削減すること。
【解決手段】 検出結果照合手段160は、距離・方位・相対速度検出手段150の検出結果と立体物検出手段110の検出結果との間で矛盾があった場合に、適応制御の実行指令を発行する制御手段を備えている。即ち、検出結果照合手段160は、その適応制御の実行指令を意味するフィードバック信号S1を検出範囲限定手段141とビーム方向・形状演算手段142に出力する。ビーム方向・形状演算手段142は、ミリ波レーダを構成する各個別アンテナの各受信信号の重み係数Am (複素数;1≦m≦M)を立体物検出手段110の検出結果に適応させて変更する。レーダービーム制御122は与えられた重み係数Am に基づいて各方向毎の探索データ(受信信号)に関する総和を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置に関する。
本発明は、障害物検出装置における歩行者などの検出処理において、その誤検出や未検出の件数を削減するのに有効である。
【背景技術】
【0002】
車両に搭載される障害物検出装置としては、例えば下記の特許文献1や特許文献2に記載されている装置などが公知である。これら従来の障害物検出装置に搭載されているミリ波レーダは、障害物を探索すべき方位を機械的な動作によってスキャニングするものが一般的である。
【特許文献1】特開2004−85337
【特許文献2】特開平8−240658
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、レーダでスキャニングを行うと、スキャニング動作に伴って、騒音や振動が発生してしまう問題が生じるばかりでなく、データ探索に必要以上に時間が掛かってしまうと言う問題が生じる。
一方、スキャン動作を伴わない単一アンテナから成るミリ波レーダを用いた場合には、スキャン方式のミリ波レーダの場合よりも障害物の検出に掛かる時間を短くすることができ、また、車両などの電磁波の反射率が高い物体は精度良く検出される。
【0004】
しかしながら、スキャン動作を伴わない単一アンテナから成るミリ波レーダを用いて、電磁波反射率の小さな歩行者などの障害物を検出する場合には、ミリ波レーダの受信信号における障害物のS/N比が小さく、また、特に歩行者は車両よりも反射特性や形状などが動的に変化し易いため、誤検出や未検出の件数を低減することが困難であった。
【0005】
本発明は、上記の課題を解決するために成されたものであり、その目的は、1サイクルの処理時間を短くし、歩行者や自転車などの電磁波の反射率が小さな障害物の位置を精度良く検出することである。
【課題を解決するための手段】
【0006】
上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第1の手段は、アレーアンテナにより指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置において、車両の周辺の状態を推定または検出する外界情報取得手段と、外界情報取得手段から提供された外界情報に基づいて指向性を可変制御する指向性可変制御手段と、指向性可変制御手段によって指向性が適応制御された、ミリ波レーダの受信信号に基づいて、障害物の位置を求める障害物位置推定手段とを備え、アレーアンテナの各アンテナ素子によって受信された各受信信号に対する重み付けの変更によって、上記のミリ波レーダの指向性を可変制御することである。
【0007】
各アンテナ素子により受信される受信信号を重み付け加算して得られる受信信号により、検出範囲の方向と幅とを制御することができる。すなわち、等価的に、アンテナの指向性特性を制御できるので、ミリ波レーダのビームの方向と幅を等価的に制御したのと同じである。よって、上記の指向性とは、この等価的にみた、ミリ波レーダのビームの方向と幅をいう。指向性の制御は、実際には、受信アンテナの指向性の制御であるが、以下では、理解を容易にするために、単に、ミリ波レーダのビームの方向と幅を制御するものとして表現している。
また、上記の重み付けの変更は、各受信信号に関する各重み係数(複素数)を変更することによって実施することができる。
また、上記の自転車や車椅子には、原動機付きのものを含む。また、上記の歩行者は複数の人の集団であっても良い。また、上記の外界情報取得手段としては、例えば車載カメラやカーナビゲーションシステムなどの装置を単数または複数任意に組み合わせて用いても良い。また、車載カメラとしては、例えばステレオカメラや赤外線カメラなどの撮像装置を必要に応じて任意に導入することができる。
【0008】
また、本発明の第2の手段は、上記の第1の手段において、上記の指向性を上記の指向性可変制御手段によって、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に応じて可変制御することである。
例えば、車載カメラからの撮像データなどを解析すれば、障害物の大きさ、形、電磁波反射特性または障害物までの距離などを分析したり推定したりすることができる。例えば、電磁波に対する歩行者の反射率は、車両の反射率よりも小さいと推定することができる。
【0009】
そこで、上記の外界情報には、例えば、車載カメラからの撮像データなどを含めても良いし、それらの分析結果や推定結果だけを含める様にしても良い。
そして、例えば障害物の水平方向の広がり(幅)が広い場合には、その幅に応じてミリ波レーダのビーム幅を広げても良い。また、障害物の電磁波に対する反射率が低い場合には、その反射率に応じてミリ波レーダのビーム幅を狭めても良い。
【0010】
また、本発明の第3の手段は、上記の第1又は第2の手段において、障害物に対する検出結果の信頼度を算定する信頼度算定手段を設け、この信頼度算定手段によって、指向性可変制御手段によって指向性が適応制御された、ミリ波レーダの受信信号に基づき、かつ、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に応じて、信頼度を定量的に算定することである。
【0011】
例えば、指向性が適応制御されたミリ波レーダの受信信号から求められる距離対反射強度のグラフにおける障害物の発現パターンは、外界情報から推定される障害物の大きさ、形、電磁波反射特性または障害物までの距離に基づいて予想される障害物の発現パターンとの間にある程度の相関を持ち得る。そこで、例えば、これらの相関が強い場合ほど、障害物の検出結果に対する信頼性を高く算定することができる。
【0012】
また、本発明の第4の手段は、上記の第1乃至第3の何れか1つの手段において、上記の外界情報取得手段に、車載カメラと、この車載カメラによって検出された障害物の方位を特定する方位特定手段とを備え、上記の外界情報に少なくともその方位を含めることである。
【0013】
また、本発明の第5の手段は、上記の第4の手段において、上記の車載カメラをステレオカメラとし、上記の外界情報取得手段に、車載カメラによって検出された障害物までの距離をそのステレオカメラの視差に基づいて算定する距離算定手段を設け、上記の外界情報に少なくともその方位と距離とを含め、上記の障害物位置推定手段によって、その方位と距離とミリ波レーダが受信した受信信号に基づいて、障害物の位置を求めることである。
【0014】
また、本発明の第6の手段は、上記の第4または第5の手段において、上記の外界情報に、少なくとも前記車両と前記障害物との相対速度に関する情報を含め、上記の障害物位置推定手段によって、その外界情報に基づいて障害物の探索範囲を限定して、目的の障害物の位置を求めることである。
【0015】
また、本発明の第7の手段は、上記の第4乃至第6の何れか1つの手段において、車載カメラを用いて得られた障害物に対する第1の検出結果と、ミリ波レーダを用いて得られた障害物に対する第2の検出結果とを照合する検出結果照合手段を設け、第1の検出結果と第2の検出結果との間に不一致が生じた際には、上記の指向性可変制御手段によって上記の指向性を可変制御し、また、第1の検出結果と第2の検出結果とが一致した場合には、上記の指向性可変制御手段によってその指向性をそのまま据え置くか又は所定の標準状態に再設定することである。
【0016】
また、上記の第4乃至第6の何れか1つの手段において、車載カメラを用いて得られた障害物に対する第1の検出結果と、ミリ波レーダを用いて得られた障害物に対する第2の検出結果とを照合する検出結果照合手段を設け、第1の検出結果と第2の検出結果との間に不一致が生じた際に、ミリ波レーダによって検出された障害物の位置に基づいて、車載カメラから得られた画像に対して部分的な領域限定を行い、その部分領域に限って特殊な画像処理(例:ガンマ補正、コントラスト調整、エッジ協調など)を施して、これによって検出対象をより検出し易くする様にしても良い。
【0017】
また、本発明の第8の手段は、上記の第1乃至第7の何れか1つの手段において、上記の外界情報取得手段に、地図情報記憶装置を有するGPS受信システムと、障害物が観測される確率が一定以上あると推定される被観測領域の地図上における位置をGPS受信システムを用いて特定する被観測領域特定手段とを備え、上記の外界情報に少なくともこの被観測領域の位置情報を含めることである。
【0018】
また、上記の被観測領域の範囲を示す情報に基づいて、車載カメラから得られた画像に対して部分的な領域限定を行い、その部分領域に限って特殊な画像処理(例:ガンマ補正、コントラスト調整、エッジ協調など)を施して、これによって検出対象をより検出し易くする様にしても良い。
なお、上記の被観測領域としては、例えば、横断歩道や交差点や通学路の周辺やガードレールの切れ目付近などの領域を想定することができる。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。
【発明の効果】
【0019】
以上の本発明の手段によって得られる効果は以下の通りである。
即ち、本発明の第1の手段によれば、外界情報取得手段から提供された外界情報に基づいてミリ波レーダの指向性を可変制御(適応制御)することができるので、ミリ波レーダによって受信された受信信号の中から、障害物の検出に必要な部分だけが畳み込まれた信号を得ることができる。その結果、受信信号のS/N比を大きくすることができるので、反射率が小さな歩行者、自転車、または車椅子からなる障害物を従来よりも高い精度で検出することができる。
【0020】
また、本発明の第1の手段によれば、スキャン動作を必要としないミリ波レーダ(アレーアンテナ)が用いられるので、探索データの収集時間を効果的に短縮できる。したがって、本発明の第1の手段においては、ミリ波レーダが実行するデータ収集に掛かる時間が、障害物の検出処理性能のボトルネックになる恐れも、同時に確実に解消される。
【0021】
したがって、本発明の第1の手段によれば、歩行者、自転車、または車椅子からなる障害物を検出する際の検出処理時間を確実に効果的に短縮することができると同時に、その検出結果に対する信頼性を大きく向上させることができる。
【0022】
また、本発明の第2の手段によれば、歩行者、自転車、または車椅子からなる障害物が有する物理的な特徴や特性に応じて、ミリ波レーダの指向性を可変制御することができるので、データ解析に不要な部分をより的確に取り除くことができる。したがって、解析対象となる受信信号におけるS/N比を容易または確実に向上させることができる。
【0023】
また、本発明の第3の手段によれば、障害物に対する検出結果の信頼度が適切に定量化されるので、例えば周知のファジー制御理論を導入することによって、障害物の種類や位置や大きさを高速かつ的確に判定することが可能となる。
【0024】
また、本発明の第4乃至第6の何れか1つの手段によれば、車載カメラによって現場周辺の実時間の撮像データが収集されるので、その撮像データまたはその撮像データに対する画像解析結果に基づいて、即ち、それらの情報を上記の外界情報に含めて、検出範囲を限定して適切なピーク探索方法に変更することによって、反射強度の弱い歩行者からの反射信号を正確に取り出すことが可能となる。
【0025】
例えばミリ波レーダのデータ解析処理において周知のFM−CW方式を採用する場合などには、上記の外界情報に障害物の方位や障害物までの距離や障害物との相対速度などを含めて、それらによって適応的に障害物の探索範囲を限定し、更に、指向性が適応制御されたミリ波レーダの受信信号に基づいて適切なピーク探索を実施すると、S/N比が効果的に向上する場合がある。
即ち、本発明の第4乃至第6の何れか1つの手段を用いると、例えば上記の様な作用によって、効果的に障害物の探索範囲を絞り込むことができるので、反射特性が良好でない歩行者からの反射波を正確に取り出すことができ、これによって、歩行者検出に関する信頼性を大きく向上させることができる。
【0026】
また、本発明の第7の手段によれば、車載カメラによる検出結果と指向性を制御しないミリ波レーダによる検出結果とが一致した場合には、その検出結果を採用し、それらが一致しない場合には、車載カメラの検出結果に基づいてミリ波レーダの指向性を制御、すなわち、方向を車載カメラにより検出された障害物の方向とし、ビームの幅を検出された障害物の幅や反射特性に応じて決定する。これにより、ミリ波レーダの検出範囲を制限することで、精度の高い障害物検出が可能となる。また、平常時には、指向性を制御しない受信信号のみを用いて障害物検出の演算処理を簡潔に実施することもできる。
【0027】
したがって、本発明の第7の手段によれば、処理オーバーヘッドが相対的に大きな動作モードで装置を常時動作させておく必要がなくなる。このため、本発明の第7の手段によれば、実際の障害物に対する具体的な検出状況に応じて、装置の処理オーバーヘッドを更に効果的に削減することができる。また、このような処理オーバーヘッドの削減に関する作用・効果は、障害物検出装置を実際に商品化する上で、装置規模の観点から非常に重要になる。
【0028】
また、本発明の第8の手段によれば、車両の前方の情報を地図情報として得ることができ、その地図情報(横断歩道やガードレールの途切れた場所)から、歩行者の存在する可能性の高い領域を求めることができる。その地図情報に基づいてミリ波レーダの指向性を制御することができる。この結果、ミリ波レーダから受信された受信信号の中から、上記の被観測領域に当たる部分だけを取り出して、そこの受信信号だけを障害物の検出処理の分析対象とすることができる。即ち、被観測領域の範囲を示す情報を上記の外界情報に含めて、ミリ波レーダから収集された受信信号中における解析対象部分を更に効果的に絞り込むことができる。
【発明を実施するための最良の形態】
【0029】
まず最初に、本発明の典型的な実施形態を図1を用いて例示する。図1は、本発明に基づいて比較的簡単に構成することができる障害物検出装置10の論理ブロック図である。この論理ブロック図(障害物検出装置10)は、本発明の請求項7の検出結果照合手段を備える方式に関する具体的な装置構成を例示している。
【0030】
この本障害物検出装置10は、1つのセンサ11と、それとは別の外界情報取得手段13を備えている。この外界情報取得手段13から提供される外界情報は、センサ11とは別の他のセンサの検出結果であってもいいし、データベース上の地図情報などであってもよい。特に、外界情報取得手段13を車載カメラにした場合には、障害物検出装置10の構成は、本発明の請求項7の構成を具現した1例となる。
【0031】
検出結果照合手段14は、外界情報取得手段13から提供される外界情報(本発明の第7の手段の第1の検出結果)と、センサ11から得られる受信信号(本発明の第7の手段の第2の検出結果)とを照合する部分である。
以下、これらの各部の動作について順次説明する。
(1)センサ11からの受信信号は第1の障害物検出手段12で処理され障害物が検出される。
(2)検出結果照合手段14によって、センサ11の検出結果が外界情報と照らし合わされる。
【0032】
(3)その照合の結果、センサ11の検出結果が外界情報と一致すればそのまま障害物位置推定手段へ結果が通知される。また、そうでなければ第2の障害物検出手段16が実行される。この第2の障害物検出手段16では外界情報を基に、センサ11での検出範囲が限定され、障害物の属性なども考慮して適切な検出閾値や検出ロジックが適応される。
(4)最後に、障害物位置推定手段15において、センサ検出結果と外界情報に基づいて障害物の位置が推定される。
例えばこの様な装置構成や処理方式に従えば、例えば本発明の第7の手段に基づく前述の作用・効果等を得ることができる。
【0033】
なお、上記の外界情報取得手段13では、照合結果に関する信号を上記の検出結果照合手段14から受け取る様にしても良いし、また、障害物位置推定手段15に対して外界情報に関する信頼度などの情報を提供する様にしても良い。
図2は、その様な観点から上記の障害物検出装置10の構成を拡張して処理方式を改良した障害物検出装置20の論理的な構成を示している。この図2の外界情報取得手段23では、検出結果照合手段24における照合結果に関する信号を検出結果照合手段24から受け取る様にしており、また、外界情報に関する信頼度などの有用な情報を障害物位置推定手段25に対して提供する様にしている。
【0034】
この障害物検出装置20の処理方式を更に具体化して、上記の適応制御と同様の適応制御を、複数のセンサに対して略対称的に取り入れたセンサ融合方式を実現する障害物検出装置の構成例を図3に示す。この障害物検出装置30では、複数のセンサ(センサ21やセンサ31)毎に、それぞれ専用の信号処理手段(第1の障害物検出手段22、32)が具備されており、まず最初にここで、障害物の検出処理が行われる。そして各センサの検出結果が検出結果照合手段24によって照合され、目的の障害物が複数のセンサで共通に検出されているか否かが識別される。
【0035】
この時、障害物が全てのセンサで共通に検出された場合には、それぞれの第1の障害物検出手段22、32の結果を持ち寄って障害物の位置が推定される。
一方、いずれかのセンサで障害物が検出されなかった場合には、検出できなかったセンサ側の処理系では、他のセンサから検出結果を入手し、探索範囲を限定して、検出できなかったそのセンサ側の処理系の次段に用意された第2の障害物検出手段によって、再度障害物の検出を試みる。例えば、第1の障害物検出手段22で検出に失敗した場合には、同一のセンサ側の処理系にある第2の障害物検出手段26で再検出を試みる。
【0036】
なお、ここで第2の障害物検出手段とは、検出したい障害物が検出できるように適応的に感度を再調整して、適切な検出ロジックに切り替えた同一のセンサ側の処理系にある次段の検出手段のことを言う。
信頼度推定手段27、37では、それぞれのセンサの各処理系で求められた各検出結果の信頼度を算定する。そして、第2の障害物検出手段による検出結果と既に他のセンサ側の処理系で求められている他の第1の障害物検出手段による検出結果を持ち寄って障害物の存在もしくは位置が推定される。
【0037】
この様な処理方式に従えば、それぞれのセンサの各処理系において、それぞれ第2の障害物検出手段26、36が具備されるので、何れのセンサ側で障害物の検出に失敗した場合にも、その失敗が発生したセンサ側の処理系にて、その障害物の再検出を試みることができる。したがって、複数のセンサ間において、一部が主となり他が従う例えば障害物検出装置10などの様な固定された主従関係を構成することなく、複数のセンサ間に可変的な相補関係を構成することができる。
【0038】
以下、本発明をより具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。
【実施例1】
【0039】
本実施例1では、ミリ波レーダ、ステレオカメラ、及び車速センサを用いた装置構成を例示する。図4に本実施例1の障害物検出装置100の論理的な構成を示す。ミリ波信号を処理する検出処理系を構成する障害物検出処理部190に対して、必要な探索データ(受信信号)を提供するミリ波レーダ101は、アレーアンテナを構成するM個のアンテナ素子から成り、その出力が本実施例1のミリ波レーダの受信信号として周波数解析手段121に入力される。アンテナ素子の個数Mは、2以上の適当な数で良い。通常は、3以上30以下程度の範囲内の適当な数が選択される。周波数解析手段121は、FM−CW方式における周知の周波数解析を行う。
【0040】
このFM−CW方式では、三角波で周波数変調したミリ波を被検出体に向って出力することで、その反射波の受信時における、受信波と送信波との周波数差に基づいて、対象物の距離を測る。この方法によると、周波数を経時的に徐々に高くしていく上昇変調区間と徐々に低くしていく下降変調区間との間に見られる、反射波の周波数シフトの関係から自車両と障害物との距離と相対速度を求めることができる。
【0041】
第1のピーク検出手段131は、各受信信号に対する重み係数Am (複素数;1≦m≦M;Mは2以上の適当な自然数)を全て1に設定し、かつ、その重み付けに基づいて各アンテナ素子毎の受信信号に関する総和を生成して、その合成データに対して、即ち、最も広い幅の指向性に指向性が適応制御されたミリ波レーダの受信信号に対して歩行者、自転車、または車椅子からなる障害物を示すと思われる信号のピークを検出する検出手段である。
距離・方位・相対速度検出手段150は、第1のピーク検出手段131の検出結果に基づいて、障害物の距離と方位と自車両との相対速度を検出して、その検出結果を検出結果照合手段160に出力する。
【0042】
一方、ステレオ画像の処理系の立体物検出手段110は、ステレオカメラ102から得られる左右双方の撮像データに対して、視差に基づいて目的の障害物を立体的に検出する検出手段である。
検出結果照合手段160は、距離・方位・相対速度検出手段150の検出結果と立体物検出手段110の検出結果との間で矛盾があった場合に、指向性の適応制御の実行指令を発行する制御手段を備えている。即ち、検出結果照合手段160は、その適応制御の実行指令を意味するフィードバック信号Sを検出範囲限定手段141とビーム方向・形状演算手段142に出力する。
【0043】
ビーム方向・形状演算手段142は、上記の重み係数Am を立体物検出手段110の検出結果に適応させて変更する手段である。
レーダービーム制御122は、与えられた上記の重み係数Am に基づいて各アンテナ素子毎の受信信号に関する総和を演算することにより、指向性が適応制御されたミリ波レーダの受信信号を生成する手段である。
第2のピーク検出手段132は、レーダービーム制御122によって生成されたその合成データに対して歩行者、自転車、または車椅子からなる障害物を示すと思われる信号のピークを検出する手段である。
【0044】
信頼度推定手段170は、第2のピーク検出手段132の検出結果に基づいて、目的の障害物の検出結果に対する信頼度を推定する手段である。この信頼度推定手段170による推定結果は障害物判定180に対して出力される。この障害物判定180が、請求項1における障害物位置推定手段に相当する。
【0045】
図5に、上記の障害物検出装置100の制御手順を例示する。
ステレオ画像の処理系(立体物検出手段110)では、まず最初に本図5のステップ31において、ステレオカメラ102(:左右2台のカメラ102Lと102R)で得られた画像を所定の記憶領域に格納する。
次に、ステップ32では、その記憶領域に格納された左右の両画像から同一の障害物を抽出し、その障害物の左右の画像上での位置の差を抽出する。そして、この抽出結果に基づいてその障害物までの距離と方位が計算される。
【0046】
一方、ミリ波レーダ側の観測系では、まず最初に図5のステップ33において、ミリ波レーダ(ミリ波レーダ101)からの受信信号を取得し、その受信信号を周波数解析する(周波数解析手段121)。
次に、ステップ34では、ターゲット(目的の障害物)を検出する。即ち、上記の周波数解析の結果から反射強度の強いピークを検出し(第1のピーク検出手段131)、障害物までの距離・相対速度・方位を検出する(距離・方位・相対速度検出手段150)。
【0047】
その後、ステップ35では、これら2 つのセンサの検出結果を照合する(図4の検出結果照合手段160)。
ステップ35の判定の結果、ある障害物が2つのセンサで共に検出された場合には、ステップ37に進み、障害物判定手段において各センサの検出結果を融合して距離・相対速度・方位などの情報を得る。
【0048】
一方、ステレオ画像処理で検出された障害物がミリ波レーダで検出されなかった場合には、ステップ36に進み、ミリ波レーダの適応制御(:以下、これを注視制御と言うことがある。)を実行する。ステップ36に進むこの適応制御(注視制御)への実行指令が、図4のフィードバック信号Sに相当する。
【0049】
(注視制御の具体的な制御手順)
以下、この様なミリ波レーダの注視制御(:図5のステップ36)について、その詳しい制御手順を、図6を用いて例示的に順次説明する。図6に、障害物検出装置100の制御手順を例示する。
(ステップ41)ステレオ画像処理の検出結果、即ち、障害物までの距離や障害物の幅や方位などの情報を取得する。以下、この情報を画像解析結果Yと言う。また、車載されている車速センサから自車両の速度vを入手する。
【0050】
(ステップ42)アレーアンテナの各受信信号の重み係数Am (複素数;1≦m≦M)を制御して(本発明の適応制御)、障害物の方位にビームを向ける。この時、障害物の水平方向の広がり(幅)に応じてビーム幅を狭くして感度を向上させる。
図7−Aに指向性に対する適応制御前における距離r対反射強度Pのグラフを例示する。また、図7−Bには、その適応制御後における距離r対反射強度Pのグラフである。このグラフは、アレーアンテナのアンテナ素子の個数Mを10前後の適当な数に想定して模式的に描いたものである。
【0051】
これらのグラフからも分かる様に、重み係数Am を一律に1とすると、ミリ波レーダ単独の場合と略同様に、指向性が考慮されずに前方の広い範囲全体に対して一括処理が行われるので、受信信号のS/N比が低くなることなどが原因となって、横断歩道を歩行中の歩行者などを検出することが難しい(図7−A)。
しかし、本ステップ42によれば、上記の様な手順によって指向性に対する適応制御が行われるので、歩行者などの障害物の検出に適した図7−Bの様な適応された距離r対反射強度Pのグラフを得ることができる。
【0052】
(ステップ43)上記の画像解析結果Yを基に、ミリ波レーダの受信信号に対する周波数解析の解析結果(距離−受信強度データ)における障害物の探索範囲を限定し、ビームの幅や推定される障害物の反射特性などに応じて検出閾値も適応的に制御する。
ここで探索範囲を限定する際には、画像解析結果における検出誤差にも注意する。特に車載カメラにおけるステレオ検出では、視差の確保に限界があるので、その検出誤差は角度方向よりも距離方向に大きくなり易い。
(ステップ44)指定された探索範囲内の障害物を指定された検出閾値に基づいて探索する。図7−Bのように指向性が適応制御された受信強度と距離の特性から障害物を精度良く認識することができる。
(ステップ45)受信強度および周波数解析結果のピーク形状などを基に障害物存在の信頼度を計算する。
その後、図5のステップ37に制御を移し、以上の注視制御の結果(信頼度を含む検出結果) とステレオの検出結果を融合して障害物の位置やその確信度を判定する(障害物判定180)。
【0053】
(実施例1の効果)
上記の様にステレオカメラからの情報を利用して、ミリ波レーダ側にて再び検出処理(:注視制御に基づく再探索又は再計算)を実行すると、障害物の検出範囲を精査して効果的に限定することができるので、受信信号において歩行者に該当する反射強度のピークを見つけ易くすることができる。その結果、上記の制御手順に従えば、例えば図7−Bに例示される様なS/N比の向上によって障害物が容易かつ的確に検出できるようになる。したがって、上記の障害物検出装置100を用いれば、その作用によって装置の検出精度や信頼性を向上させることができる。
【0054】
また、通常のFM−CW方式のミリ波レーダは、周波数を経時的に徐々に高くしていく上昇変調区間と徐々に低くしていく下降変調区間を備えており、目的の対象物が2つの区間で共通に検出されないとその対象物までの距離や相対速度が検出できない。
【0055】
しかし、本実施例1の装置構成では、ステレオ画像によってその対象物までの距離を取得でき、また、速度センサによってその対象物までの速度を取得できるため、FM−CW方式のミリ波レーダにおける上記の2つの区間の内のいずれか一方の区間でしかその対象物が検出できなかった場合でも、そのターゲットの存在を確認する情報が得られる。
また、検出範囲の限定によって、上昇変調区間と下降変調区間とで検出されたピークの対応づけを間違うことなく障害物を正確に検出することができる。また、通常のピーク抽出は、反射強度に対する閾値判定によって実施されるが、指向性を的確に制御しても歩行者の信号強度が十分に確保できない場合もある。しかし、この様な場合でも、検索範囲を適当に限定することによってより詳細で正確な探索が可能となり、これによって歩行者検出の精度や信頼性を向上できる場合がある。
【0056】
また、ステレオカメラから得られた上記の画像解析結果Yにおける障害物までの距離や、ステップ41で取得した自車両の速度vは、一方の区間でのみ対象物を認識した場合の補正に用いて、対象物の認定の精度を向上させることができる。
【0057】
また、本実施例1の装置構成によれば、上昇変調区間と下降変調区間の何れか一方の情報しか得られなかった場合でも、上記の手順(ステップ45)において検出結果の信頼度を計算する際の材料としてその情報を利用することができる。この時、上昇変調区間と下降変調区間の2つの区間で正確に目的の対象物が検出できた場合に比べれば、検出の信頼度はより低いものとなるが、歩行者のように電波反射強度が時々刻々と変動するようなターゲットに対しては、上記の様にして信頼度を計算する際の材料(:利用可能な情報)を増やすことにより、従来よりも検出の安定性を向上させることができる。これらの情報は、障害物の検出範囲の限定に利用することもできるし、障害物の検出結果に対する信頼度の算定に利用することもできる。
【0058】
したがって、本発明に基づいて実施される例えば以上のような注視制御では、従来のレーダ信号処理では扱わなかった情報をも利用しているので、上記の障害物検出装置100においては、従来よりも高い検出性能を得ることができる。
【実施例2】
【0059】
ステレオカメラとレーダセンサ(ミリ波レーダ)を用いて構成された障害物検出装置の主要構成を図8に例示する。この障害物検出装置200は、実施例1の障害物検出装置100において障害物検出処理部190をそのまま残し、同障害物検出装置100における立体物検出手段110の部分だけを機能拡張することにより構成されたものであり、ステレオ画像処理の検出処理系についても、実施例1と類似の適応制御が取り入れられている。即ち、図4の立体物検出手段110に対応する図8の障害物検出装置200の立体物検出手段110′は、図3の符号26に相当する第2の障害物検出手段を後から詳しく説明する様に備えており、この拡張によって、図3の障害物検出装置30における処理方式が、本障害物検出装置200においてより具体的に実現されている。
【0060】
言い換えれば、障害物検出装置200の対応点探索手段221と対応点グループ化手段222と障害物検出手段250の3つの手段が図3の第1の障害物検出手段22に相当し、画像処理手段231と対応点再探索手段232と障害物検出手段233と探索範囲制限手段240の4つの手段が図3の第2の障害物検出手段26に相当し、信頼度推定手段270が図3の信頼度推定手段27に相当している。
【0061】
図9、図10に上記の障害物検出装置200の制御手順を例示する。
図9の制御手順では、まず最初にステップ51で、ステレオカメラ202で撮影した左右2枚の画像が所定の記憶領域に格納される。
次に、ステップ52では、その左右2枚の画像に対して、対応点探索手段221によって対応点の探索を実行し、見つかった対応点を対応点グループ化手段222によって適切にグループ化し、更に、視差情報から障害物までの距離と方位を障害物検出手段250によって検出する。
【0062】
一方、ミリ波レーダ201(レーダセンサ)から得られた受信信号によっても、障害物までの距離や相対速度、方位などが障害物検出手段210によって検出される(ステップ53、54)。
そして、実施例1と同様にこれら2つのセンサの検出結果が、検出結果照合手段260によって照合される(ステップ55)。
【0063】
このステップ55(検出結果照合手段260)で、ある障害物が2つのセンサで共に検出された場合には、次段のステップ57(障害物判定手段280)において各センサの検出結果を融合して距離・相対速度・方位などの情報を得る。
一方、ステップ55(検出結果照合手段260)で、レーダセンサで検出された障害物がステレオ画像処理で検出されていないことが判明した場合には、上記の実施例1と同様に検出結果照合手段260からフィードバック信号Sが発行されて、ステレオ画像処理の注視制御が実行される。以下、図10を使って、ステレオ画像処理の注視制御(図9のステップ56)について具体的な手順を説明する。
【0064】
(ステップ61)レーダセンサの検出結果を取得する。
(ステップ62)レーダセンサの検出結果をステレオカメラの座標系に変換して探索すべき画像範囲を限定する。
(ステップ63)決定した画像範囲を調査して適切な画像補正処理( ガンマ補正やエッジ強調、コントラスト補正など) を施す。
(ステップ64)限定された画像範囲内で左右画像の対応点探索を再度実施する。この際、ウィンドウサイズや検出閾値などを適応的に変更する。
(ステップ65)再探索の結果から障害物を検出するとともに、障害物に対応した視差を持つ画素の数などを基に障害物存在の信頼度を計算する。
【0065】
その後の融合処理57では、以上の注視制御の結果(信頼度を含む検出結果)とレーダセンサの検出結果を融合して障害物を判定する。
この様な処理方式に従えば、オーバーヘッドの大きな画像補正処理( ガンマ補正やエッジ強調、コントラスト補正など) を必要最小限の領域に限定して実施することができるので、障害物に係わる検出精度の高い適切な画像解析処理を従来よりも少ないオーバーヘッドで実行することが可能となる。
【図面の簡単な説明】
【0066】
【図1】本発明に基づく障害物検出装置10の論理的な構成を示すブロック図。
【図2】本発明に基づく障害物検出装置20の論理的な構成を示すブロック図。
【図3】本発明に基づく障害物検出装置30の論理的な構成を示すブロック図。
【図4】実施例1の障害物検出装置100の論理的な構成を示すブロック図。
【図5】障害物検出装置100の制御手順を例示するフローチャート。
【図6】障害物検出装置100の制御手順を例示するフローチャート。
【図7−A】指向性に対する適応制御前の距離対反射強度のグラフ。
【図7−B】指向性に対する適応制御後の距離対反射強度のグラフ。
【図8】実施例2の障害物検出装置200の論理的な構成を示すブロック図。
【図9】障害物検出装置200の制御手順を例示するフローチャート。
【図10】障害物検出装置200の制御手順を例示するフローチャート。
【符号の説明】
【0067】
10 : 障害物検出装置
11 : センサ
12 : 第1の障害物検出手段
13 : 外界情報取得手段
14 : 検出結果照合手段
15 : 障害物位置推定手段
16 : 第2の障害物検出手段
100 : 障害物検出装置(実施例1)
200 : 障害物検出装置(実施例2)

【特許請求の範囲】
【請求項1】
アレーアンテナにより指向性が可変制御可能なミリ波レーダを有し、歩行者、自転車、または車椅子からなる障害物を検出する、車両に搭載される障害物検出装置において、
前記車両の周辺の状態を推定または検出する外界情報取得手段と、
前記外界情報取得手段から提供された外界情報に基づいて前記指向性を可変制御する指向性可変制御手段と、
前記指向性可変制御手段によって前記指向性が適応制御された、前記ミリ波レーダの受信信号に基づいて、前記障害物の位置を求める障害物位置推定手段と
を有し、
前記指向性は、
前記アレーアンテナの各アンテナ素子によって受信された各受信信号に対する重み付けの変更によって可変制御される
ことを特徴とする障害物検出装置。
【請求項2】
前記指向性可変制御手段は、
前記外界情報から推定される前記障害物の大きさ、形、電磁波反射特性または前記障害物までの距離に応じて、前記指向性を可変制御する
ことを特徴とする請求項1に記載の障害物検出装置。
【請求項3】
前記障害物に対する検出結果の信頼度を算定する信頼度算定手段を有し、
前記信頼度算定手段は、
前記指向性可変制御手段によって前記指向性が適応制御された、前記ミリ波レーダの受信信号に基づき、かつ、前記外界情報から推定される前記障害物の大きさ、形、電磁波反射特性または前記障害物までの距離に応じて、前記信頼度を定量的に算定する
ことを特徴とする請求項1または請求項2に記載の障害物検出装置。
【請求項4】
前記外界情報取得手段は、
車載カメラと、
前記車載カメラによって検出された前記障害物の方位を特定する方位特定手段と
を有し、
前記外界情報は、
少なくとも前記方位を含む
ことを特徴とする請求項1乃至請求項3の何れか1項に記載の障害物検出装置。
【請求項5】
前記車載カメラはステレオカメラであり、
前記外界情報取得手段は、
前記車載カメラによって検出された前記障害物までの距離を、前記ステレオカメラの視差に基づいて算定する距離算定手段を有し、
前記外界情報は、
少なくとも前記方位と前記距離とを含み、
前記障害物位置推定手段は、
前記方位と前記距離と前記ミリ波レーダが受信した受信信号に基づいて、前記障害物の位置を求める
ことを特徴とする請求項4に記載の障害物検出装置。
【請求項6】
前記外界情報は、
少なくとも前記車両と前記障害物との相対速度に関する情報を含み、
前記障害物位置推定手段は、
前記外界情報に基づいて、前記障害物の探索範囲を限定して、前記障害物の位置を求める
ことを特徴とする請求項4または請求項5に記載の障害物検出装置。
【請求項7】
前記車載カメラを用いて得られた前記障害物に対する第1の検出結果と、前記ミリ波レーダを用いて得られた前記障害物に対する第2の検出結果とを照合する検出結果照合手段を有し、
前記指向性可変制御手段は、
前記第1の検出結果と前記第2の検出結果との間に不一致が生じた際に、前記指向性を可変制御し、
前記第1の検出結果と前記第2の検出結果とが一致した場合には、前記指向性をそのまま据え置くか又は所定の標準状態に再設定する
ことを特徴とする請求項4乃至請求項6の何れか1項に記載の障害物検出装置。
【請求項8】
前記外界情報取得手段は、
地図情報記憶装置を有するGPS受信システムと、
前記障害物が観測される確率が一定以上あると推定される被観測領域の地図上における位置を前記GPS受信システムを用いて特定する被観測領域特定手段と
を有し、
前記外界情報は、
少なくとも前記被観測領域の位置情報を含む
ことを特徴とする請求項1乃至請求項7の何れか1項に記載の障害物検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7−A】
image rotate

【図7−B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2006−234513(P2006−234513A)
【公開日】平成18年9月7日(2006.9.7)
【国際特許分類】
【出願番号】特願2005−47983(P2005−47983)
【出願日】平成17年2月23日(2005.2.23)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】