物体検出装置、情報処理方法、および、情報処理システム
【課題】カメラで撮影した画像内の物体の種類を判定する場合の電子制御装置の処理負荷を軽減する技術を提供する。
【解決手段】レーダ装置により検出したレーダ情報に基づいて、物体の種類を予測する。その予測した物体の種類をもとにカメラで撮影した１フレームの画像の所定の画像範囲を切り出して、電子制御装置により物体の種類判定を行う。これにより電子処理装置の画像による物体の種類判定の処理負荷が軽減される。
【解決手段】レーダ装置により検出したレーダ情報に基づいて、物体の種類を予測する。その予測した物体の種類をもとにカメラで撮影した１フレームの画像の所定の画像範囲を切り出して、電子制御装置により物体の種類判定を行う。これにより電子処理装置の画像による物体の種類判定の処理負荷が軽減される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーダ装置により検出した物体情報と画像情報を用いて車両制御を行う技術に関する。
【背景技術】
【０００２】
一般に、レーダ装置はアンテナから送信した電波などの信号が車外の物体からはね返り、そのはね返った信号をアンテナが受信する。アンテナから送信した信号とアンテナで受信した信号との時間差とドップラーシフトの情報に基づいて、車両と車外の物体間の距離と、車両からみた物体の速度と、車両からみた車外の物体の角度と、車外の物体から受信した受信波の反射強度とを検出できる。
【０００３】
しかし、レーダ装置のみを用いて物体を検出する場合、物体から跳ね返った受信波の情報とノイズの情報とを区別するために所定の閾値を設定し、閾値を超える反射強度を有する信号を物体として検出する。その結果、反射強度が強い車両やガードレールなどの物体の検出は可能であるが、反射強度が弱い人を検出することは難しいという問題がある。そのため、反射強度が弱い人を検出するためには、物体を検出するための閾値を下げる必要があるが、閾値を下げた場合、ノイズの情報も物体として検出してしまい、誤った車両制御を行うという問題があった。
【０００４】
また、車両にカメラを備えた画像処理装置を搭載して、カメラで撮影した１フレームごとの画像情報を走査して画像中の物体の種類を判別する技術がある。
【０００５】
カメラを備えた画像処理装置のみにより物体を検出する場合、物体の種類の判別は可能であっても、相対速度の検出はできないことから、車両と物体とが衝突するまでの時間を検出することができず、衝突を回避する車両制御を行うことが困難であった。また、１フレームごとに画像の全領域について車両制御の対象となる物体を検出するための走査処理を行う必要があることから、車両に搭載されて画像の物体の種類判定を行う電子制御装置のＣＰＵの処理負荷が大きくなり、迅速な車両制御ができないという問題があった。
【０００６】
このようなレーダ装置のみを用いた場合、または、カメラのみを用いた場合の問題を解決するために、レーダ装置とカメラを備えた画像処理装置とを組み合わせて、車外の物体の距離、角度、相対速度、および、物体の種類を判別して、車両と物体との衝突を回避する車両制御を行う技術がある。
【０００７】
また、レーダ装置と画像処理装置との情報を組み合わせて画像処理を行う場合、レーダ装置で検出した対象物の距離情報を用いて、カメラで撮影した画像処理範囲を限定する技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−２６４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、レーダ装置とカメラを用いた画像処理装置とを組み合わせて物体を検出する場合でも、１フレームごとに画像の全領域について車両制御の対象となる物体を検出するための走査処理を行う必要があることから、電子制御装置のＣＰＵの処理負荷が大きくなり、迅速な車両制御ができないという問題があった。
【００１０】
また、特許文献１記載の技術では、白線と車両を対象物とした場合に、１フレーム内の対象物の画像を含む所定範囲を画像処理の対象とすることで、画像処理負荷を軽減することについては記載されているものの、対象物の種類ごとにその対象物の大きさに応じて異なる範囲を画像処理することについては考慮されておらず、画像処理負荷が大きくなっていた。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、OLE_LINK1電子制御装置の画像処理負荷を軽減して車両制御を迅速に行う技術OLE_LINK1を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１の発明は、車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出装置であって、前記レーダ情報に基づいて、前記候補物体の種類を予測する予測手段と、前記レーダ情報に基づく前記検出対象の候補物体の前記画像中の座標を導出する導出手段と、前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する設定手段と、前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する検出手段と、を有することを特徴とする物体検出装置。
【００１３】
また、請求項２の発明は、請求項１記載の物体検出装置において、前記検出手段は、前記処理対象領域から前記検出対象を検出するときに、当該処理対象領域に対応する前記候補物体の予測された種類に応じた判定手法を用いることを特徴とする物体検出装置。
【００１４】
また、請求項３の発明は、請求項１または２記載の物体検出装置において、前記車両の走行状況を示す走行情報を取得する取得手段と、前記走行情報に基づいて、前記レーダ情報に基づく前記候補物体の一部を処理対象として選択する手段、をさらに備えることを特徴とする物体検出装置。
【００１５】
また、請求項４の発明は、請求項１乃至３のいずれか記載の物体検出装置において、前記導出手段、前記予測手段、前記設定手段、および、前記検出手段のうち少なくとも１の手段は、前記レーダ情報に基づく前記候補物体が複数あるとき、複数の前記候補物体のうちの前記車両との距離の近い順から処理対象とすることを特徴とする物体検出装置。
【００１６】
また、請求項５の発明は、車両に設けられた前記車両外の物体の位置と相対速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出方法であって、前記レーダ情報に基づいて、前記候補物体の種類を予測する工程と、前記レーダ情報に基づく前記検出対象との候補物体の前記画像中の座標を導出する工程と、前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する工程と、前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する工程と、を有することを特徴とする物体検出方法。
【００１７】
また、請求項６の発明は、物体検出システムであって、車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラと、レーダ装置からのレーダ情報と、カメラで得られた画像とに基づいて、前記車両外の検出対象を検出する請求項１ないし４のいずれかに記載の物体検出装置と、を備えることを特徴とする物体検出システム。
【発明の効果】
【００１８】
請求項１ないし６の発明によれば、電子制御装置が行う画像処理は検出対象とする物体が存在する画像領域に限定され、物体を検出する画像処理負荷を軽減するとともに、レーダ装置の処理を含めた物体検出システム全体の処理負荷の軽減が可能となる。また、電子制御装置の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００１９】
また、特に請求項２の発明によれば、レーダ装置からの情報により予め物体の種類を予測することで、電子制御装置による物体の種類判定を何度もやり直す必要はなく物体の種類判定が迅速に行える。さらに、電子制御装置の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００２０】
また、特に請求項３の発明によれば、車両の走行状況を示す走行情報をレーダ装置の情報とあわせて用いることで、車両が走行する状況に応じて、処理対象とする候補物体を選択できる。これにより、電子制御装置の処理負荷が軽減されるとともに、車両の走行状態に応じた車両制御を迅速に行うことができる。
【００２１】
また、特に請求項４の発明によれば、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど車両の乗員の安全確保を迅速に行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】図１は、車両の全体を示した図である。
【図２】図２は、物体検出システムのブロック図である。
【図３】図３は、レーダ装置とカメラを備えた画像処理装置の物体検出範囲を示した図である。
【図４】図４は、物体の情報を周波数とパワーで表した図である。
【図５】図５は、カメラを備えた画像処理装置による物体検出の画像を示した図である。
【図６】図６は、電子制御装置の処理フローチャートである。
【図７】図７は、ナビゲーション装置と各種センサを備えた物体検出システムのブロック図である。
【図８】図８は、カーブでのレーダ装置とカメラを備えた画像処理装置による物体検出範囲を示した図である。
【図９】図９は、カーブでのカメラを備えた画像処理装置による物体検出の画像を示した図である。
【図１０】図１０は、走行情報を用いた電子制御装置の処理フローチャートである。
【発明を実施するための形態】
【００２３】
以下では、本発明の実施の形態について図面を参照して説明する。
【００２４】
［実施の形態１］
＜１−１．構成＞
図１は、車両１の全体図である。車両１には、本実施の形態の物体検出システムが備える要素として、レーダ装置２、画像処理装置３及び電子制御装置４が設けられている。レーダ装置２は、車両前方のフロント部分に設けられている。レーダ装置２は、車両１と車外の物体間の距離、および、車両１からみた車外の物体の角度（以下、「物体の位置」という。）、車両１からみた車外の物体の速度である車両１と車外の物体との相対速度、または、車外の物体の絶対速度（以下、「速度情報」という。）を検出する。なお、レーダ装置２の車両１への搭載位置は車両前方のフロント部分に限らず、車両１の後方や側方に設けても良い。
【００２５】
レーダ装置２は、アンテナから送信した電波などの信号（以下、「送信波」という。）が車外の物体に当たってはね返り、そのはね返った信号を受信する（以下、「受信波」という。）。この送信波と受信波の時間差とドップラーシフトの情報に基づいて、レーダ装置２は物体の位置、および、速度情報を検出する。レーダ装置２の物体検出範囲はＲ１の範囲である。
【００２６】
画像処理装置３は、車両１のOLE_LINK2フロントガラスの車室内天井付近OLE_LINK2に設けられている。画像処理装置３は、検出範囲Ｃ１を撮影して電子的に画像を取得するカメラを備えており、これらの範囲の撮影による得られる画像内の物体の位置や大きさを検出する。カメラを備えた画像処理装置３の車両１への搭載位置はフロントガラスの車室内天井付近限らず、車両の内外で後方や側方に設けても良い。
【００２７】
電子制御装置４は、車両１の車両本体内部に設けられている。電子制御装置４はレーダ装置２、および、画像処理装置３から得られた車外の物体の情報（物体の位置、速度情報、角度情報、物体から跳ね返ってレーダ装置２のアンテナが受信した受信波の反射強度、物体の画像上の位置、および、物体の大きさなど）を用いて車外の物体の種類を判定し、車外の物体と車両１との衝突の可能性に応じて車両制御を行う。
【００２８】
車両制御は車両１と車外の物体との衝突の危険性を警報によりドライバーなどの乗員に報知したり、衝突前に運転操作に自動的に介入して、ブレーキをかけたり、ステアリングを所定の方向に操作することで、車外の物体との衝突を避ける。また、シートベルト５を矢印方向に自動的に引いて衝突時にドライバーなどの乗員の体を固定したり、衝突時にヘッドレスト６を矢印方向に移動させて衝突の衝撃を緩和し、ドライバーなどの乗員の安全を確保する車両制御もある。
【００２９】
図２は、物体検出システム１０のブロック図である。レーダ装置２はアンテナ１２から送信波を出力し、車外の物体から跳ね返った受信波を受信する。レーダ制御部２２は送信波を生成したり、アンテナ２１が受信した受信波と送信波とをミキシングすることにより得られた送信波と受信波との時間差分とドップラーシフト分の情報をビート信号として算出する。レーダ制御部２２は算出されたビート信号を高速フーリエ変換して車両１と車外の物体との距離情報と速度情報とを算出する。
【００３０】
ここで、レーダ装置２による物体検出の具体的な例として、図３及び図４を用いて説明する。図３はレーダ装置とカメラとを備えた画像処理装置３の物体検出範囲を示した図であり、図４は物体の情報を周波数とパワーで表した図である。
【００３１】
図３に示すようにレーダ装置２の検出範囲Ｒ１の中には、マンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４がある。車両１との距離は近い順番からマンホール１０１、人１０２、対向車両１０３、遠方車両１０４である。これらの１０１から１０４の物体の情報を周波数とパワーで表したものが図４の図となる。図４の物体の情報を周波数とパワーで表した図は、横軸を周波数、縦軸をパワーとする表の中に物体の検出結果が表示されている。横軸の周波数は車両１と物体との距離を示すものであり、周波数が高くなるにつれて車両１と物体との距離は離れていることとなる。
【００３２】
また、縦軸のパワーは、物体からの受信波の反射強度を示すものである。したがって、車両など反射する面積が広く電波などの信号が跳ね返りやすい（表面の信号の反射率が高い）場合はパワーは強くなり、車両１からの距離が近いほどパワーは強くなる。また、反射する面積が狭く表面の反射率が低いほどパワーは弱くなり、車両１からの距離が遠いほどパワーは弱くなる。なお、図４の表の中で強弱様々な値を有する信号をピークという。
【００３３】
このピークが図３の物体のいずれに対応しているのかをみると、マンホール１０１の物体の情報は、図４に示す複数のピークの中で所定の閾値ｈを越えて、かつ、車両１から最も近い距離にあるピークＡに該当する。ここで、所定の閾値は検出物体の中で最も反射強度が弱くなる人を検出できる値としたものであり、閾値を超えないピークはノイズとみなして物体としての検出対象とはしない。
【００３４】
次にマンホール１０１の次に車両１から近い距離にある人１０２の物体情報は、図４のピークＢに該当し、対向車両１０３はピークＣに該当し、遠方車両１０４はピークＤに該当する。ここで閾値ｈを超えて反射強度が人１０２と同じくらいの強度を有するピークＮは図３の中のどの物体にも該当しない。人のように反射強度の弱い物体を検出するためには閾値ｈをできるだけ下げて、物体を検出するパワーの閾値ｈを超えるピークを物体の情報として抽出する必要があるが、パワーの閾値ｈを下げた結果、物体として存在しないものも物体の情報を有するピークとして抽出する可能性がある。このように本来存在しない物体の情報を物体が存在するものとして抽出した場合の処理については、後に述べる電子制御装置４による画像情報の処理により詳細に述べる。
【００３５】
また、図４において、対向車両１０３に対応するピークＣ、及び、遠方車両１０４に対応するピークＤに関しては、両方のピークともパワーの閾値ｈを超えており、ピークＣ、ピークＤの順番に車両１からの距離が離れた状態となっている。
【００３６】
なお、車両１からみた各物体の角度については、アンテナ１２を所定の角度（例えば最大振角３０度）に振ってスキャンを行う方式の場合は、アンテナの振角と受信波を対応付けて物体の角度を算出する。アンテナ１２を振らずにアンテナを所定の方向に固定したままスキャンを行う場合は、図４の各ピークごとに有している受信波の位相差情報から角度を算出する。
【００３７】
次に図２に戻って、画像処理装置３および電子制御装置４の説明を行う。画像処理装置３はレーダ装置２の物体検出範囲Ｒ１と重なる範囲であるＣ１の範囲をカメラ１３を用いて撮影する。カメラ１３と電気的に接続されているカメラ制御部２３は、後述する電子制御装置４の情報に基づいて、撮影した１フレームの画像の中から所定の画像範囲のみに係る画像を電子制御装置４へ送信する。
【００３８】
電子制御装置４は、レーダ装置２および画像処理装置３からの情報を受信するＣＰＵ１４と、このＣＰＵ１４に電気的に接続されているメモリ２４とを備えている。ＣＰＵ１４は、レーダ装置２および画像処理装置３からの物体の位置、速度情報、および、物体の種類などの情報を受けて、後述する警報器１７、ブレーキ２７、ステアリング３７を操作した車両制御を行う。また、メモリ２４には物体の種類を判別するための情報が記憶されている。物体の種類を判別する情報の例としては、画像における物体の大きさを判定するための物体各種のテンプレート情報などである。
【００３９】
電子制御装置４及び画像処理装置３が処理を行う画像の具体例を図３と図５とを用いて説明する。図５は、カメラを備えた画像処理装置３により取得された画像を示した図である。図３では画像処理装置３の撮影範囲であるＣ１の範囲内にはマンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４がある。なお、レーダ装置２により検出され、図４のピークＮとして説明したノイズは検出範囲には物体として存在しない。
【００４０】
画像処理装置３により撮影した画像には図５に示すように、マンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４が存在している。そして、それぞれの物体の画像の位置には×印が付されている。これらの×印はレーダ装置２により検出された物体の情報に対応して付されており、個々の×印が車両１との距離情報、速度情報、角度情報、および、反射強度の情報を有しており、電子制御装置４は、これらのレーダ装置２の物体情報の中から、距離と角度情報に基づいてそれぞれの物体が１フレームの画像上のどの位置に対応しているかを判別する。また、電子制御装置４は、速度情報と反射強度の情報から、個々の物体の情報である×印が組み合わされてひとつの物体を構成しているか否かも判定し、組み合わせた範囲の大きさなどの情報から物体の種類を予測している。なお、画像の中では図４に示したノイズのピークＮの情報も物体１０５として画像上に検出されている。
【００４１】
物体の種類の予測の具体例としては、例えば、マンホール１０１の絶対速度がゼロで反射強度が比較的強く、絶対速度がゼロで反射強度が比較的強いという同じ性質を有する反射点が周辺にないことから、複数の反射点を有する物体ではないことが判別できる。電子制御装置４は、電子制御装置４内のメモリ２４に予め記憶している物体の種類の判別情報からマンホール１０１の物体の種類をマンホールと予測する。
【００４２】
また、相対速度が比較的小さく反射強度が比較的弱い反射点で、同じ性質を有する反射点が周辺にないことから、電子制御装置４は、メモリ２４の情報により人１０２の物体の種類を人と予測する。相対速度が比較的大きく反射強度が比較的強い反射点があり、かつ、同じ性質を有する反射点が近傍領域に複数あるため、電子制御装置４は、対向車両１０３の物体の種類を車両と予測する。また、相対速度は一定であるが、反射強度は比較的強く、同じ性質を有する反射点が近傍領域に複数あるため、電子制御装置４は、遠方車両１０４の物体の種類を車両と予測する。
【００４３】
また、相対速度が比較的小さく反射強度が比較的弱い反射点で、同じ性質を有する反射点が周辺にないことから、電子制御装置４は、メモリ２４の情報により物体１０５の物体の種類を人と予測する。
【００４４】
このようにして電子制御装置４は、レーダ情報から物体の種類を推定し、その物体の種類に応じて、メモリ２４に予め記憶している物体の種類の判別情報に応じたサイズの画像範囲を選択して、その選択した画像範囲の切り取りの指示を画像処理装置３に行う。例えば、推定した物体の種類が歩行者であれば比較的小さな縦長のサイズの領域が選択される。また、推定した物体の種類が車両であれば比較的大きな横長のサイズの領域が選択される。この切り取りの指示に応答して、画像処理装置３は、指定された画像範囲について切り取りを行う。また、物体の種類の判別パターンはこれまで説明した人や車両以外にも二輪車両、電柱、歩道橋、鉄橋など様々な物体の種類に応じた判別パターンをメモリ２４に記憶させることができ、これら種類の異なる物体のサイズに応じた領域を選択可能である。
【００４５】
切り取られた画像は処理対象領域として画像処理装置３から電子制御装置４へ送信され、この処理対象領域のみを対象にして電子制御装置４により物体の種類判定のための画像認識が行われる。この際、当該処理対象領域を切り取る際に予測された物体の種類に応じた判定手法が用いられる。例えば、予測された物体の種類が人の場合の画像認識手法の例としては、レーダ情報に基づく候補物体の予測から人の大きさの画像範囲αを切り取り、その範囲を走査して画像の輝度の変化を検出する。所定の幅で輝度が変化していれば、その幅の大きさに該当する対象物を人と判別することができる。例えば、図５に示す物体１０２の場合では、中心軸ＬからＸ軸方向の左右対称に所定の幅を有していることから、当該物体の種類を人と判定することができる。一方で、同図に示す物体１０５の場合は、画像範囲βを切り取った画像を走査しても人の輝度変化にあたる画像の輝度の変化は検出されないことから、この判定結果により該当する物体の種類はなく、ノイズと判定する。
【００４６】
また、予測された物体の種類が車両の場合の判定方法としては画像の輝度の変化を検出したエッジの部分から別方向に画像の輝度を検出し、検出した方向の輝度の変化の幅の大きさから対象物を判別する手法がある。例えば、図５では画像範囲γのＸ軸方向の画像走査により点Ｐの画像の輝度変化が検出された場合、次に点ＰからＸ軸方向ではなくＹ軸方向に画像の輝度変化を検出することで、対向車両１０３の物体の種類を車両と判定する。
【００４７】
さらに、予測された物体の種類が人及び車両の双方の場合に用いることが可能な手法として、画像を走査して走査した画像の輝度の変化の範囲を検出して、予めメモリ２４に記憶している対象物の大きさと形状のテンプレートを当てはめることで、対象物の種類を判別する手法もある。例えば図５では画像範囲θに車両のテンプレートを遠方車両１０４に当てはめることで、遠方車両１０４の物体の種類を車両と判定している。
【００４８】
＜１−２．動作＞
電子制御装置４の処理を図６に示すフローチャートを用いて説明する。電子制御装置４はレーダ装置２からレーダ情報を受信する（ステップＳ１０１）。レーダ情報は、検出対象の候補物体（以下、「候補物体」という。）が有する情報であり、車両１と車外の物体との距離情報、速度情報、角度情報、および、反射強度の情報である。
【００４９】
電子制御装置４はレーダ情報に含まれる車両と物体との距離情報に基づいて、複数の候補物体に対して車両１との距離が近い順に処理の優先順位付けを行う（ステップＳ１０２）。これは車両１との距離が近ければ、車両１との衝突可能性が高いと考えられることから、車両１のドライバーなどの乗員に対して早期の警告を行ったり、車両１の運転に介入するような車両制御を迅速に行う必要性があるためである。なお、本実施形態の優先順位付けは距離が比較的近い物体の優先順位を高く設定することを例としたが、速度情報を優先順位付けの要素として、例えば、相対速度が大きい順番に優先順位付けを行ったり、車両１との距離が比較的近く、かつ、相対速度が大きい候補物体の優先順位を高くするようにしてもよい。
【００５０】
次に電子制御装置４は処理の優先順位の高い候補物体からその物体の種類を予測する（ステップＳ１０３）。具体的には、候補物体がそれぞれ有しているレーダ情報から物体の種類を予測するもので、例えば距離が比較的近くて、相対速度が比較的大きく、反射強度の比較的強いレーダ情報を有する候補物体は車両と予測する。なお、車両はレーダ装置２の送信波を車体複数の箇所で跳ね返すため、レーダ情報の中でもほぼ同一の距離、相対速度、および、反射強度を有するレーダ情報が近い領域に複数ある場合は、これらのレーダ情報を同一の物体を構成する複数の反射点として扱い、１つの物体を形成する反射点が多いほど大きな物体であるとして物体の種類の予測を行う。
【００５１】
距離が近くても相対速度が比較的小さく、反射強度は弱く、反射点の数が少ない場合は人と予測する。また、反射強度が強い場合で、絶対速度がゼロの場合は反射点の数が少ない場合は、道路にある静止物（例えば、マンホールやガードレールなど）と予測する。
【００５２】
電子制御装置４は、候補物体のレーダ情報と物体の種類の情報に基づいて、該当する候補物体が画像処理装置３にある１フレームの画像の中のどの座標に該当するかを算出する（ステップＳ１０４）。具体的には処理の優先順位の高い候補物体のレーダ情報の距離と角度の情報により、画像処理装置３により撮影された１フレームの画像の中の座標位置と候補物体とを対応させる。また、予測した物体の種類に応じて、その座標位置を基準とした１フレームの画像の中の所定の範囲を算出する。
【００５３】
電子制御装置４は予測した物体の種類に応じた画像の座標情報を画像処理装置３に送信する（ステップＳ１０５）。画像の範囲の座標情報を受信した画像処理装置３は、カメラ１３を用いて撮影した１フレームの物体の種類に応じたサイズの画像範囲を切り出して、電子制御装置４に送信する。例えば、予測した物体の種類が歩行者であれば比較的小さな縦長の領域が切り出される。また、予測した物体の種類が車両であれば比較的大きな横長の領域が切り出される。なお、物体の種類の判別パターンはこれまで説明した人や車両などの物体以外にも二輪車両、電柱、歩道橋、鉄橋など様々な物体の種類に応じた判別パターンをメモリ２４に記憶させることができ、これら種類の異なる物体のサイズに応じた領域を選択して切り出すことが可能である。
【００５４】
電子制御装置４は画像処理装置３が送信した画像情報を処理対象領域として受信して（ステップＳ１０６）、受信した画像情報のみを対象に物体の種類判定を行う（ステップＳ１０７）。物体の種類の判定は、画像を走査判定して、対象画像の輝度の変化のある範囲を検出して、物体の種類を判定する。物体の種類の判定手法としては、処理対象領域に対応する物体の予測された種類に応じた判定手法を用いる。例えば、変化のある範囲の中心をとり、変化の範囲が対称性をみて物体の種類を判定する手法がある。また、所定の方向に走査して、変化がある点から交差する方向に走査方向を変更して、輝度の変化範囲に基づいて物体の種類を判定する手法がある。さらに、予めメモリ２４に保存しているテンプレートを輝度が変化している画像の範囲に当てはめて、物体の種類を判定する手法がある。
【００５５】
また、気温・湿度の変化により画像センサが検出する信号のＳ／Ｎ比が悪化し、弱い光の輝度の検出が困難となる場合がある。そのため、気温や湿度の変化により画像の輝度を検出する閾値を所定の値に設定することもできる。
【００５６】
物体の種類判定の結果、その物体が車両制御の対象物である場合（ステップＳ１０８がＹｅｓ）は、警報器１７からの警報による報知を行うか否かを判断する（ステップＳ１０９）。物体が車両制御の対象でない場合は、処理を終了する（ステップＳ１０８がＮｏ）。
【００５７】
警報による報知が必要な場合（ステップＳ１０９がＹｅｓ）は、警報器１７から警報を出力する（ステップＳ１１０）。警報は車室内に備えているナビゲーション装置から音声による警告を行ったり、映像による警告を行う。
【００５８】
警報を出力した後、または、警報による報知が必要ない場合（ステップＳ１０９がＮｏ）は、運転介入が必要であるか否かを判断する（ステップＳ１１１）。運転介入が必要な場合（ステップＳ１１１がＹｅｓ）は、ブレーキ２７やステアリング３７を自動的に操作して運転介入を行う（ステップＳ１１２）。運転介入の例としては、車外の物体に車両１が衝突する可能性が有る場合に、自動的にブレーキ２７を操作して車両を停止させたり、物体が存在しない方向にステアリング３７を自動的に操作するものがある。また、衝突前にシートベルト５を固定したり、ヘッドレスト６を固定したりすることで、衝突に備えて車両１のドライバーなどの乗員の安全を確保できる。
【００５９】
運転介入が必要でない場合（ステップＳ１１１がＮｏ）は、処理を終了する。例えばドライバーの操作により車外の物体との衝突が避けられる場合である。
【００６０】
以上のように本実施の形態の物体検出システム１０においては、電子制御装置４が、レーダ情報に基づく検出対象の候補物体の画像中の座標を導出するとともに、レーダ情報に基づいて候補物体の種類が予測する。そして、電子制御装置４は、画像中における候補物体の導出された座標の周辺における候補物体の予測された種類に応じたサイズの領域を処理対象領域として指定し、その画像領域について画像処理装置３に切り出しを行わせる。この切り出された画像領域のみを対象に物体の検出処理がなされる。これにより、電子制御装置４のＣＰＵ１４が行う画像処理は検出対象とする物体が存在する画像領域に限定され、物体の種類を判定する画像処理負荷を軽減する。また、レーダ装置を採用したことにより、それ自体に負荷がかかるが、画像処理領域を限定することによる画像処理負荷が大幅に減少することから、物体検出システム全体の処理負荷の軽減が可能となる。さらに、電子制御装置４のＣＰＵ１４の処理負荷軽減により、車外の物体に対する車両制御を迅速に行うことができる。
【００６１】
また、レーダ装置２からの情報により予め物体の種類を予測して、電子制御装置４のＣＰＵ１４による物体の種類判定において予測された種類に応じた判定手法を用いる。このため、物体の種類判定を何度もやり直す必要はなく物体の種類判定が迅速に行える。さらに、電子制御装置４のＣＰＵ１４の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００６２】
また、候補物体が複数あるときには、複数の候補物体のうち車両との距離の近い順から処理対象とするため、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど乗員の安全確保を迅速に行うことが可能となる。
【００６３】
［実施の形態２］
＜２−１．構成＞
図７はナビゲーション装置と各種センサを備えた物体検出システムのブロック図であり、実施の形態１の図２に示したブロック図と主に異なる点は、ナビゲーション装置８と車速センサ１９、ステアリングセンサ２０、ヨーレートセンサ２１の各種センサを新たに備えた点である。以下、実施の形態１に記載した動作内容は省略し、異なる動作内容について述べる。
【００６４】
ナビゲーション装置８は、表示部１８とナビゲーション制御部２８を備えており、表示部１８はドライバーなどの乗員に対して映像や音声で地図などのナビゲーション情報を通知したり、音楽やデジタルＴＶなどのオーディオコンテンツ情報を提供する。ナビゲーション制御部はこれらの情報をドライバーなどの乗員に提供するための制御を行う。
【００６５】
車速センサ１９は車両の速度情報を電子制御装置４に送信する。ステアリングセンサ２９は車両のステアリングの舵角を検出して電子制御装置４に送信する。ヨーレートセンサ３９は車両１の車体の向きの変化を角速度で検出して電子制御装置４に送信する。電子制御装置４はこれらの車両の走行状態に応じて、車両制御の対象とする候補物体の検出を行う。
【００６６】
次にナビゲーション装置８および各種センサを用いて行う候補物体検出の具体例について、図８のカーブでのレーダ装置とカメラを備えた画像処理装置による物体検出範囲を示した図、および、図９のカーブでのカメラを備えた画像処理装置による物体検出の画像を示した図を用いて説明する。
【００６７】
図８では車両１に備えられたレーダ装置２の物体検出範囲Ｒ１とカメラを備えた画像処理装置３のＣ１、Ｃ２の物体検出範囲が重なっている。レーダ装置２および画像処理装置３の物体検出範囲には人２０１とガードレール２０２が候補物体として入っている。ここで、車両１に備えられたナビゲーション装置４は車両１の進行方向の道路が車両１の現在の位置から所定の距離進むとカーブしていることを検出している。ここで本実施形態のカーブ半径は１３０ｍ以下の場合をカーブとするが、これに限らず、本実施形態に述べる効果を有する場合は本実施形態のカーブ半径の値以下のカーブであってもよい。
【００６８】
レーダ装置２のレーダ情報として、車両１との距離が例えば２０ｍ以上離れているような所定の距離を有し、絶対速度がゼロであり、角度は略進行方向正面であり、反射強度が強いピーク（ピークを検出する閾値を超えるパワーを有するピーク）が存在していれば、電子制御装置４から画像処理装置３への所定範囲を切り出す候補物体の対象としてこのレーダ情報を選択しない、または、候補物体として処理の優先順位付けを行わない。
【００６９】
自車線内のカーブの入り口手前でカードレール２０２のような静止物は車両１の制御対象としなくとも、ドライバーのステアリング操作で回避できる。自動的な運転介入を行うことにより、カーブの角度に沿ったステアリングの操作よりも余計にステアリングを操作するような誤った車両制御を行う危険性がある。したがって、車両１がカーブに差し掛かる前に検出した自車線内のガードレールのような静止物は、車両制御の対象とはしない。
【００７０】
なお、ガードレール２０２のような絶対速度がゼロの静止物体のレーダ情報を車両制御の候補物体として選択しない条件としては、ナビゲーション装置４の情報により、その物体が自車線上にあり、かつ、車両１に備えられたステアリングセンサ２９、または、ヨーレートセンサ３９によって車両１がカーブに沿って走行していないことを示していることも含まれる。ここで、自車線上とは本実施例では一例として車両が所定の車線を走行している場合に、その走行方向の両端にある白線から白線の距離約２．５ｍの間に車両１が存在する状態をいうが、これに限られず本実施形態の効果を有する範囲が含まれる。
【００７１】
さらに、車両１がカーブの入り口に差し掛かり、ドライバーがステアリングをカーブの角度に沿って操作した場合は、その車の旋回の度合いに応じて、ステアリングセンサ２９、ヨーレートセンサ３９が車両１のカーブ走行状態を示す。車両１がカーブに沿って走行すると、レーダ装置２の検出範囲Ｒ２、および画像処理装置の検出範囲Ｃ１もカーブの角度に沿って移動する。その結果、レーダ情報により候補物体を検出していれば、車両１との距離や相対速度の情報に応じて優先順位付け行い、候補物体とし画像処理装置３が対象の範囲画像を切り取って、電子制御装置４で物体の種類判定を行い、車両制御の対象物であれば、その物体の状況に応じた車両制御を行うことが可能である。
【００７２】
また、本実施形態の変形例としては、車両１が自車線上を走行中に車速センサ１９からの車両１の速度情報を取得すると、速度と制動距離の関係から車両１の進行方向における対象物との衝突の可能性がある場合は、その物体を候補物体の処理の優先順位を高くして物体の種類判定を行い、迅速な車両制御を行うことができる。
【００７３】
具体的には、ナビゲーション装置４の情報から路面が凍結しているような場合は、車速センサ１９による車両１の速度情報と制動距離の関係を算出する。特に凍結路面では乾燥路面よりも制動距離が２倍から３倍以上伸びることを含めて、乾燥路面では優先順位を低くしているような、車両１との距離が他の候補物体よりも離れているレーダ情報の候補物体の処理の優先順位を高くする。
＜２−２．動作＞
図１０は走行情報を用いた電子制御装置の処理フローチャートである。電子制御装置４はレーダ装置２からレーダ情報を受信する（ステップＳ２０１）。
【００７４】
次に、ナビゲーション装置４、車速センサ１９、ステアリングセンサ２９、または、ヨーレートセンサ３９などの各種センサから車両１の走行情報を受信する（ステップＳ２０２）。ここで、走行情報とは上述のようにナビゲーション装置４から得られる道路のカーブや凍結の状態のほか道路の車線数、道路勾配、路面温度、気温、湿度などが含まれる。さらに、車両１の走行状態とは車両の速度や舵角が情報などである。
【００７５】
電子制御装置４は、ナビゲーション装置４、および、各種センサからの走行情報を候補物体の優先順位付けの情報とともに、レーダ情報に含まれる距離の情報に基づいて、複数の候補物体に対して優先順位付けを行う（ステップＳ２０３）。
【００７６】
具体的には、上述のように自車線上の進行路の所定の距離にカーブが存在する場合は、自車線上のガードレールなどのレーダ情報は電子制御装置４の物体の種類判定の対象としないように、候補物体として選択しない。または、候補物体としての処理の優先順位を他の候補物体よりも下げる。
【００７７】
また、自車線上の道路が凍結している場合は、車両の速度と制動距離を考慮して、他の候補物体と比較して車両との距離が所定距離以上離れているレーダ情報も候補物体として、処理の優先順位を他の候補物体よりも上げる。
【００７８】
次に電子制御装置４は処理の優先順位の高い候補物体からその物体の種類を予測し（ステップＳ２０４）、候補物体のレーダ情報と物体の種類の情報とに基づいて、該当する候補物体が画像処理装置３にある１フレームの画像の中のどの座標に該当するかを算出する（ステップＳ２０５）。
【００７９】
電子制御装置４は予測した物体の種類に応じた画像範囲の座標情報を画像処理装置３に送信する（ステップＳ２０６）。画像の範囲の座標の情報を受信した画像処理装置３は、カメラ１３を用いて撮影した１フレームの物体の種類に応じた画像範囲を切り出して、電子制御装置４に送信する。
【００８０】
電子制御装置４は画像処理装置３が送信した画像情報を受信して（ステップＳ２０７）、物体の種類判定を行う（ステップＳ２０８）。
【００８１】
物体の種類判定の結果、その物体が車両制御の対象物である場合（ステップＳ２０９がＹｅｓ）は、警報器１７からの警報による報知を行うか否かを判断する（ステップＳ２１０）。物体が車両制御の対象でない場合は（ステップＳ２０９がＮｏ）、処理を終了する。
【００８２】
警報による報知が必要な場合（ステップＳ２１０がＹｅｓ）は、警報器１７から警報を出力する（ステップＳ２１１）。警報は図示しない車室内ナビゲーション装置から音声による警告を出力したり、映像による警告を行う。
【００８３】
警報を出力した後、または、警報による報知が必要ない場合（ステップＳ２１０がＮｏ）は、運転介入が必要であるか否かを判断する（ステップＳ２１２）。運転介入が必要な場合（ステップＳ２１２がＹｅｓ）は、ブレーキ２７やステアリング３７を自動的に操作して運転介入を行う（ステップＳ２１３）。
【００８４】
運転介入が必要でない場合（ステップＳ２１２がＮｏ）は、処理を終了する。例えばドライバーの操作により車外の物体との衝突が避けられる場合である。
【００８５】
以上のように、本実施形態では、ナビゲーション装置８、または、各種センサから得られる車両の走行状況を示す走行情報をレーダ装置の情報とあわせて用いることで、車両１が走行する状況に応じて、検出対象とする物体の存在する処理対象領域を選択できる。これにより、電子制御装置４のＣＰＵ１４の処理負荷が軽減されるとともに、車両１の走行状態に応じた車両制御を迅速に行うことができる。
【００８６】
また、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど車両の乗員の安全確保を迅速に行うことができる。
【符号の説明】
【００８７】
１・・・・・ 車両
２・・・・・ レーダ装置
３・・・・・ 画像処理装置
５・・・・・ シートベルト
６・・・・・ ヘッドレスト
１２・・・・ アンテナ
１３・・・・ カメラ
１４・・・・ ＣＰＵ
１７・・・・ 警報器
２２・・・・ レーダ制御部
２３・・・・ カメラ制御部
２７・・・・ ブレーキ
３７・・・・ ステアリング
【技術分野】
【０００１】
本発明は、レーダ装置により検出した物体情報と画像情報を用いて車両制御を行う技術に関する。
【背景技術】
【０００２】
一般に、レーダ装置はアンテナから送信した電波などの信号が車外の物体からはね返り、そのはね返った信号をアンテナが受信する。アンテナから送信した信号とアンテナで受信した信号との時間差とドップラーシフトの情報に基づいて、車両と車外の物体間の距離と、車両からみた物体の速度と、車両からみた車外の物体の角度と、車外の物体から受信した受信波の反射強度とを検出できる。
【０００３】
しかし、レーダ装置のみを用いて物体を検出する場合、物体から跳ね返った受信波の情報とノイズの情報とを区別するために所定の閾値を設定し、閾値を超える反射強度を有する信号を物体として検出する。その結果、反射強度が強い車両やガードレールなどの物体の検出は可能であるが、反射強度が弱い人を検出することは難しいという問題がある。そのため、反射強度が弱い人を検出するためには、物体を検出するための閾値を下げる必要があるが、閾値を下げた場合、ノイズの情報も物体として検出してしまい、誤った車両制御を行うという問題があった。
【０００４】
また、車両にカメラを備えた画像処理装置を搭載して、カメラで撮影した１フレームごとの画像情報を走査して画像中の物体の種類を判別する技術がある。
【０００５】
カメラを備えた画像処理装置のみにより物体を検出する場合、物体の種類の判別は可能であっても、相対速度の検出はできないことから、車両と物体とが衝突するまでの時間を検出することができず、衝突を回避する車両制御を行うことが困難であった。また、１フレームごとに画像の全領域について車両制御の対象となる物体を検出するための走査処理を行う必要があることから、車両に搭載されて画像の物体の種類判定を行う電子制御装置のＣＰＵの処理負荷が大きくなり、迅速な車両制御ができないという問題があった。
【０００６】
このようなレーダ装置のみを用いた場合、または、カメラのみを用いた場合の問題を解決するために、レーダ装置とカメラを備えた画像処理装置とを組み合わせて、車外の物体の距離、角度、相対速度、および、物体の種類を判別して、車両と物体との衝突を回避する車両制御を行う技術がある。
【０００７】
また、レーダ装置と画像処理装置との情報を組み合わせて画像処理を行う場合、レーダ装置で検出した対象物の距離情報を用いて、カメラで撮影した画像処理範囲を限定する技術が開示されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−２６４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、レーダ装置とカメラを用いた画像処理装置とを組み合わせて物体を検出する場合でも、１フレームごとに画像の全領域について車両制御の対象となる物体を検出するための走査処理を行う必要があることから、電子制御装置のＣＰＵの処理負荷が大きくなり、迅速な車両制御ができないという問題があった。
【００１０】
また、特許文献１記載の技術では、白線と車両を対象物とした場合に、１フレーム内の対象物の画像を含む所定範囲を画像処理の対象とすることで、画像処理負荷を軽減することについては記載されているものの、対象物の種類ごとにその対象物の大きさに応じて異なる範囲を画像処理することについては考慮されておらず、画像処理負荷が大きくなっていた。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、OLE_LINK1電子制御装置の画像処理負荷を軽減して車両制御を迅速に行う技術OLE_LINK1を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１の発明は、車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出装置であって、前記レーダ情報に基づいて、前記候補物体の種類を予測する予測手段と、前記レーダ情報に基づく前記検出対象の候補物体の前記画像中の座標を導出する導出手段と、前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する設定手段と、前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する検出手段と、を有することを特徴とする物体検出装置。
【００１３】
また、請求項２の発明は、請求項１記載の物体検出装置において、前記検出手段は、前記処理対象領域から前記検出対象を検出するときに、当該処理対象領域に対応する前記候補物体の予測された種類に応じた判定手法を用いることを特徴とする物体検出装置。
【００１４】
また、請求項３の発明は、請求項１または２記載の物体検出装置において、前記車両の走行状況を示す走行情報を取得する取得手段と、前記走行情報に基づいて、前記レーダ情報に基づく前記候補物体の一部を処理対象として選択する手段、をさらに備えることを特徴とする物体検出装置。
【００１５】
また、請求項４の発明は、請求項１乃至３のいずれか記載の物体検出装置において、前記導出手段、前記予測手段、前記設定手段、および、前記検出手段のうち少なくとも１の手段は、前記レーダ情報に基づく前記候補物体が複数あるとき、複数の前記候補物体のうちの前記車両との距離の近い順から処理対象とすることを特徴とする物体検出装置。
【００１６】
また、請求項５の発明は、車両に設けられた前記車両外の物体の位置と相対速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出方法であって、前記レーダ情報に基づいて、前記候補物体の種類を予測する工程と、前記レーダ情報に基づく前記検出対象との候補物体の前記画像中の座標を導出する工程と、前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する工程と、前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する工程と、を有することを特徴とする物体検出方法。
【００１７】
また、請求項６の発明は、物体検出システムであって、車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラと、レーダ装置からのレーダ情報と、カメラで得られた画像とに基づいて、前記車両外の検出対象を検出する請求項１ないし４のいずれかに記載の物体検出装置と、を備えることを特徴とする物体検出システム。
【発明の効果】
【００１８】
請求項１ないし６の発明によれば、電子制御装置が行う画像処理は検出対象とする物体が存在する画像領域に限定され、物体を検出する画像処理負荷を軽減するとともに、レーダ装置の処理を含めた物体検出システム全体の処理負荷の軽減が可能となる。また、電子制御装置の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００１９】
また、特に請求項２の発明によれば、レーダ装置からの情報により予め物体の種類を予測することで、電子制御装置による物体の種類判定を何度もやり直す必要はなく物体の種類判定が迅速に行える。さらに、電子制御装置の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００２０】
また、特に請求項３の発明によれば、車両の走行状況を示す走行情報をレーダ装置の情報とあわせて用いることで、車両が走行する状況に応じて、処理対象とする候補物体を選択できる。これにより、電子制御装置の処理負荷が軽減されるとともに、車両の走行状態に応じた車両制御を迅速に行うことができる。
【００２１】
また、特に請求項４の発明によれば、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど車両の乗員の安全確保を迅速に行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】図１は、車両の全体を示した図である。
【図２】図２は、物体検出システムのブロック図である。
【図３】図３は、レーダ装置とカメラを備えた画像処理装置の物体検出範囲を示した図である。
【図４】図４は、物体の情報を周波数とパワーで表した図である。
【図５】図５は、カメラを備えた画像処理装置による物体検出の画像を示した図である。
【図６】図６は、電子制御装置の処理フローチャートである。
【図７】図７は、ナビゲーション装置と各種センサを備えた物体検出システムのブロック図である。
【図８】図８は、カーブでのレーダ装置とカメラを備えた画像処理装置による物体検出範囲を示した図である。
【図９】図９は、カーブでのカメラを備えた画像処理装置による物体検出の画像を示した図である。
【図１０】図１０は、走行情報を用いた電子制御装置の処理フローチャートである。
【発明を実施するための形態】
【００２３】
以下では、本発明の実施の形態について図面を参照して説明する。
【００２４】
［実施の形態１］
＜１−１．構成＞
図１は、車両１の全体図である。車両１には、本実施の形態の物体検出システムが備える要素として、レーダ装置２、画像処理装置３及び電子制御装置４が設けられている。レーダ装置２は、車両前方のフロント部分に設けられている。レーダ装置２は、車両１と車外の物体間の距離、および、車両１からみた車外の物体の角度（以下、「物体の位置」という。）、車両１からみた車外の物体の速度である車両１と車外の物体との相対速度、または、車外の物体の絶対速度（以下、「速度情報」という。）を検出する。なお、レーダ装置２の車両１への搭載位置は車両前方のフロント部分に限らず、車両１の後方や側方に設けても良い。
【００２５】
レーダ装置２は、アンテナから送信した電波などの信号（以下、「送信波」という。）が車外の物体に当たってはね返り、そのはね返った信号を受信する（以下、「受信波」という。）。この送信波と受信波の時間差とドップラーシフトの情報に基づいて、レーダ装置２は物体の位置、および、速度情報を検出する。レーダ装置２の物体検出範囲はＲ１の範囲である。
【００２６】
画像処理装置３は、車両１のOLE_LINK2フロントガラスの車室内天井付近OLE_LINK2に設けられている。画像処理装置３は、検出範囲Ｃ１を撮影して電子的に画像を取得するカメラを備えており、これらの範囲の撮影による得られる画像内の物体の位置や大きさを検出する。カメラを備えた画像処理装置３の車両１への搭載位置はフロントガラスの車室内天井付近限らず、車両の内外で後方や側方に設けても良い。
【００２７】
電子制御装置４は、車両１の車両本体内部に設けられている。電子制御装置４はレーダ装置２、および、画像処理装置３から得られた車外の物体の情報（物体の位置、速度情報、角度情報、物体から跳ね返ってレーダ装置２のアンテナが受信した受信波の反射強度、物体の画像上の位置、および、物体の大きさなど）を用いて車外の物体の種類を判定し、車外の物体と車両１との衝突の可能性に応じて車両制御を行う。
【００２８】
車両制御は車両１と車外の物体との衝突の危険性を警報によりドライバーなどの乗員に報知したり、衝突前に運転操作に自動的に介入して、ブレーキをかけたり、ステアリングを所定の方向に操作することで、車外の物体との衝突を避ける。また、シートベルト５を矢印方向に自動的に引いて衝突時にドライバーなどの乗員の体を固定したり、衝突時にヘッドレスト６を矢印方向に移動させて衝突の衝撃を緩和し、ドライバーなどの乗員の安全を確保する車両制御もある。
【００２９】
図２は、物体検出システム１０のブロック図である。レーダ装置２はアンテナ１２から送信波を出力し、車外の物体から跳ね返った受信波を受信する。レーダ制御部２２は送信波を生成したり、アンテナ２１が受信した受信波と送信波とをミキシングすることにより得られた送信波と受信波との時間差分とドップラーシフト分の情報をビート信号として算出する。レーダ制御部２２は算出されたビート信号を高速フーリエ変換して車両１と車外の物体との距離情報と速度情報とを算出する。
【００３０】
ここで、レーダ装置２による物体検出の具体的な例として、図３及び図４を用いて説明する。図３はレーダ装置とカメラとを備えた画像処理装置３の物体検出範囲を示した図であり、図４は物体の情報を周波数とパワーで表した図である。
【００３１】
図３に示すようにレーダ装置２の検出範囲Ｒ１の中には、マンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４がある。車両１との距離は近い順番からマンホール１０１、人１０２、対向車両１０３、遠方車両１０４である。これらの１０１から１０４の物体の情報を周波数とパワーで表したものが図４の図となる。図４の物体の情報を周波数とパワーで表した図は、横軸を周波数、縦軸をパワーとする表の中に物体の検出結果が表示されている。横軸の周波数は車両１と物体との距離を示すものであり、周波数が高くなるにつれて車両１と物体との距離は離れていることとなる。
【００３２】
また、縦軸のパワーは、物体からの受信波の反射強度を示すものである。したがって、車両など反射する面積が広く電波などの信号が跳ね返りやすい（表面の信号の反射率が高い）場合はパワーは強くなり、車両１からの距離が近いほどパワーは強くなる。また、反射する面積が狭く表面の反射率が低いほどパワーは弱くなり、車両１からの距離が遠いほどパワーは弱くなる。なお、図４の表の中で強弱様々な値を有する信号をピークという。
【００３３】
このピークが図３の物体のいずれに対応しているのかをみると、マンホール１０１の物体の情報は、図４に示す複数のピークの中で所定の閾値ｈを越えて、かつ、車両１から最も近い距離にあるピークＡに該当する。ここで、所定の閾値は検出物体の中で最も反射強度が弱くなる人を検出できる値としたものであり、閾値を超えないピークはノイズとみなして物体としての検出対象とはしない。
【００３４】
次にマンホール１０１の次に車両１から近い距離にある人１０２の物体情報は、図４のピークＢに該当し、対向車両１０３はピークＣに該当し、遠方車両１０４はピークＤに該当する。ここで閾値ｈを超えて反射強度が人１０２と同じくらいの強度を有するピークＮは図３の中のどの物体にも該当しない。人のように反射強度の弱い物体を検出するためには閾値ｈをできるだけ下げて、物体を検出するパワーの閾値ｈを超えるピークを物体の情報として抽出する必要があるが、パワーの閾値ｈを下げた結果、物体として存在しないものも物体の情報を有するピークとして抽出する可能性がある。このように本来存在しない物体の情報を物体が存在するものとして抽出した場合の処理については、後に述べる電子制御装置４による画像情報の処理により詳細に述べる。
【００３５】
また、図４において、対向車両１０３に対応するピークＣ、及び、遠方車両１０４に対応するピークＤに関しては、両方のピークともパワーの閾値ｈを超えており、ピークＣ、ピークＤの順番に車両１からの距離が離れた状態となっている。
【００３６】
なお、車両１からみた各物体の角度については、アンテナ１２を所定の角度（例えば最大振角３０度）に振ってスキャンを行う方式の場合は、アンテナの振角と受信波を対応付けて物体の角度を算出する。アンテナ１２を振らずにアンテナを所定の方向に固定したままスキャンを行う場合は、図４の各ピークごとに有している受信波の位相差情報から角度を算出する。
【００３７】
次に図２に戻って、画像処理装置３および電子制御装置４の説明を行う。画像処理装置３はレーダ装置２の物体検出範囲Ｒ１と重なる範囲であるＣ１の範囲をカメラ１３を用いて撮影する。カメラ１３と電気的に接続されているカメラ制御部２３は、後述する電子制御装置４の情報に基づいて、撮影した１フレームの画像の中から所定の画像範囲のみに係る画像を電子制御装置４へ送信する。
【００３８】
電子制御装置４は、レーダ装置２および画像処理装置３からの情報を受信するＣＰＵ１４と、このＣＰＵ１４に電気的に接続されているメモリ２４とを備えている。ＣＰＵ１４は、レーダ装置２および画像処理装置３からの物体の位置、速度情報、および、物体の種類などの情報を受けて、後述する警報器１７、ブレーキ２７、ステアリング３７を操作した車両制御を行う。また、メモリ２４には物体の種類を判別するための情報が記憶されている。物体の種類を判別する情報の例としては、画像における物体の大きさを判定するための物体各種のテンプレート情報などである。
【００３９】
電子制御装置４及び画像処理装置３が処理を行う画像の具体例を図３と図５とを用いて説明する。図５は、カメラを備えた画像処理装置３により取得された画像を示した図である。図３では画像処理装置３の撮影範囲であるＣ１の範囲内にはマンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４がある。なお、レーダ装置２により検出され、図４のピークＮとして説明したノイズは検出範囲には物体として存在しない。
【００４０】
画像処理装置３により撮影した画像には図５に示すように、マンホール１０１、人１０２、対向車両１０３、および、遠方車両１０４が存在している。そして、それぞれの物体の画像の位置には×印が付されている。これらの×印はレーダ装置２により検出された物体の情報に対応して付されており、個々の×印が車両１との距離情報、速度情報、角度情報、および、反射強度の情報を有しており、電子制御装置４は、これらのレーダ装置２の物体情報の中から、距離と角度情報に基づいてそれぞれの物体が１フレームの画像上のどの位置に対応しているかを判別する。また、電子制御装置４は、速度情報と反射強度の情報から、個々の物体の情報である×印が組み合わされてひとつの物体を構成しているか否かも判定し、組み合わせた範囲の大きさなどの情報から物体の種類を予測している。なお、画像の中では図４に示したノイズのピークＮの情報も物体１０５として画像上に検出されている。
【００４１】
物体の種類の予測の具体例としては、例えば、マンホール１０１の絶対速度がゼロで反射強度が比較的強く、絶対速度がゼロで反射強度が比較的強いという同じ性質を有する反射点が周辺にないことから、複数の反射点を有する物体ではないことが判別できる。電子制御装置４は、電子制御装置４内のメモリ２４に予め記憶している物体の種類の判別情報からマンホール１０１の物体の種類をマンホールと予測する。
【００４２】
また、相対速度が比較的小さく反射強度が比較的弱い反射点で、同じ性質を有する反射点が周辺にないことから、電子制御装置４は、メモリ２４の情報により人１０２の物体の種類を人と予測する。相対速度が比較的大きく反射強度が比較的強い反射点があり、かつ、同じ性質を有する反射点が近傍領域に複数あるため、電子制御装置４は、対向車両１０３の物体の種類を車両と予測する。また、相対速度は一定であるが、反射強度は比較的強く、同じ性質を有する反射点が近傍領域に複数あるため、電子制御装置４は、遠方車両１０４の物体の種類を車両と予測する。
【００４３】
また、相対速度が比較的小さく反射強度が比較的弱い反射点で、同じ性質を有する反射点が周辺にないことから、電子制御装置４は、メモリ２４の情報により物体１０５の物体の種類を人と予測する。
【００４４】
このようにして電子制御装置４は、レーダ情報から物体の種類を推定し、その物体の種類に応じて、メモリ２４に予め記憶している物体の種類の判別情報に応じたサイズの画像範囲を選択して、その選択した画像範囲の切り取りの指示を画像処理装置３に行う。例えば、推定した物体の種類が歩行者であれば比較的小さな縦長のサイズの領域が選択される。また、推定した物体の種類が車両であれば比較的大きな横長のサイズの領域が選択される。この切り取りの指示に応答して、画像処理装置３は、指定された画像範囲について切り取りを行う。また、物体の種類の判別パターンはこれまで説明した人や車両以外にも二輪車両、電柱、歩道橋、鉄橋など様々な物体の種類に応じた判別パターンをメモリ２４に記憶させることができ、これら種類の異なる物体のサイズに応じた領域を選択可能である。
【００４５】
切り取られた画像は処理対象領域として画像処理装置３から電子制御装置４へ送信され、この処理対象領域のみを対象にして電子制御装置４により物体の種類判定のための画像認識が行われる。この際、当該処理対象領域を切り取る際に予測された物体の種類に応じた判定手法が用いられる。例えば、予測された物体の種類が人の場合の画像認識手法の例としては、レーダ情報に基づく候補物体の予測から人の大きさの画像範囲αを切り取り、その範囲を走査して画像の輝度の変化を検出する。所定の幅で輝度が変化していれば、その幅の大きさに該当する対象物を人と判別することができる。例えば、図５に示す物体１０２の場合では、中心軸ＬからＸ軸方向の左右対称に所定の幅を有していることから、当該物体の種類を人と判定することができる。一方で、同図に示す物体１０５の場合は、画像範囲βを切り取った画像を走査しても人の輝度変化にあたる画像の輝度の変化は検出されないことから、この判定結果により該当する物体の種類はなく、ノイズと判定する。
【００４６】
また、予測された物体の種類が車両の場合の判定方法としては画像の輝度の変化を検出したエッジの部分から別方向に画像の輝度を検出し、検出した方向の輝度の変化の幅の大きさから対象物を判別する手法がある。例えば、図５では画像範囲γのＸ軸方向の画像走査により点Ｐの画像の輝度変化が検出された場合、次に点ＰからＸ軸方向ではなくＹ軸方向に画像の輝度変化を検出することで、対向車両１０３の物体の種類を車両と判定する。
【００４７】
さらに、予測された物体の種類が人及び車両の双方の場合に用いることが可能な手法として、画像を走査して走査した画像の輝度の変化の範囲を検出して、予めメモリ２４に記憶している対象物の大きさと形状のテンプレートを当てはめることで、対象物の種類を判別する手法もある。例えば図５では画像範囲θに車両のテンプレートを遠方車両１０４に当てはめることで、遠方車両１０４の物体の種類を車両と判定している。
【００４８】
＜１−２．動作＞
電子制御装置４の処理を図６に示すフローチャートを用いて説明する。電子制御装置４はレーダ装置２からレーダ情報を受信する（ステップＳ１０１）。レーダ情報は、検出対象の候補物体（以下、「候補物体」という。）が有する情報であり、車両１と車外の物体との距離情報、速度情報、角度情報、および、反射強度の情報である。
【００４９】
電子制御装置４はレーダ情報に含まれる車両と物体との距離情報に基づいて、複数の候補物体に対して車両１との距離が近い順に処理の優先順位付けを行う（ステップＳ１０２）。これは車両１との距離が近ければ、車両１との衝突可能性が高いと考えられることから、車両１のドライバーなどの乗員に対して早期の警告を行ったり、車両１の運転に介入するような車両制御を迅速に行う必要性があるためである。なお、本実施形態の優先順位付けは距離が比較的近い物体の優先順位を高く設定することを例としたが、速度情報を優先順位付けの要素として、例えば、相対速度が大きい順番に優先順位付けを行ったり、車両１との距離が比較的近く、かつ、相対速度が大きい候補物体の優先順位を高くするようにしてもよい。
【００５０】
次に電子制御装置４は処理の優先順位の高い候補物体からその物体の種類を予測する（ステップＳ１０３）。具体的には、候補物体がそれぞれ有しているレーダ情報から物体の種類を予測するもので、例えば距離が比較的近くて、相対速度が比較的大きく、反射強度の比較的強いレーダ情報を有する候補物体は車両と予測する。なお、車両はレーダ装置２の送信波を車体複数の箇所で跳ね返すため、レーダ情報の中でもほぼ同一の距離、相対速度、および、反射強度を有するレーダ情報が近い領域に複数ある場合は、これらのレーダ情報を同一の物体を構成する複数の反射点として扱い、１つの物体を形成する反射点が多いほど大きな物体であるとして物体の種類の予測を行う。
【００５１】
距離が近くても相対速度が比較的小さく、反射強度は弱く、反射点の数が少ない場合は人と予測する。また、反射強度が強い場合で、絶対速度がゼロの場合は反射点の数が少ない場合は、道路にある静止物（例えば、マンホールやガードレールなど）と予測する。
【００５２】
電子制御装置４は、候補物体のレーダ情報と物体の種類の情報に基づいて、該当する候補物体が画像処理装置３にある１フレームの画像の中のどの座標に該当するかを算出する（ステップＳ１０４）。具体的には処理の優先順位の高い候補物体のレーダ情報の距離と角度の情報により、画像処理装置３により撮影された１フレームの画像の中の座標位置と候補物体とを対応させる。また、予測した物体の種類に応じて、その座標位置を基準とした１フレームの画像の中の所定の範囲を算出する。
【００５３】
電子制御装置４は予測した物体の種類に応じた画像の座標情報を画像処理装置３に送信する（ステップＳ１０５）。画像の範囲の座標情報を受信した画像処理装置３は、カメラ１３を用いて撮影した１フレームの物体の種類に応じたサイズの画像範囲を切り出して、電子制御装置４に送信する。例えば、予測した物体の種類が歩行者であれば比較的小さな縦長の領域が切り出される。また、予測した物体の種類が車両であれば比較的大きな横長の領域が切り出される。なお、物体の種類の判別パターンはこれまで説明した人や車両などの物体以外にも二輪車両、電柱、歩道橋、鉄橋など様々な物体の種類に応じた判別パターンをメモリ２４に記憶させることができ、これら種類の異なる物体のサイズに応じた領域を選択して切り出すことが可能である。
【００５４】
電子制御装置４は画像処理装置３が送信した画像情報を処理対象領域として受信して（ステップＳ１０６）、受信した画像情報のみを対象に物体の種類判定を行う（ステップＳ１０７）。物体の種類の判定は、画像を走査判定して、対象画像の輝度の変化のある範囲を検出して、物体の種類を判定する。物体の種類の判定手法としては、処理対象領域に対応する物体の予測された種類に応じた判定手法を用いる。例えば、変化のある範囲の中心をとり、変化の範囲が対称性をみて物体の種類を判定する手法がある。また、所定の方向に走査して、変化がある点から交差する方向に走査方向を変更して、輝度の変化範囲に基づいて物体の種類を判定する手法がある。さらに、予めメモリ２４に保存しているテンプレートを輝度が変化している画像の範囲に当てはめて、物体の種類を判定する手法がある。
【００５５】
また、気温・湿度の変化により画像センサが検出する信号のＳ／Ｎ比が悪化し、弱い光の輝度の検出が困難となる場合がある。そのため、気温や湿度の変化により画像の輝度を検出する閾値を所定の値に設定することもできる。
【００５６】
物体の種類判定の結果、その物体が車両制御の対象物である場合（ステップＳ１０８がＹｅｓ）は、警報器１７からの警報による報知を行うか否かを判断する（ステップＳ１０９）。物体が車両制御の対象でない場合は、処理を終了する（ステップＳ１０８がＮｏ）。
【００５７】
警報による報知が必要な場合（ステップＳ１０９がＹｅｓ）は、警報器１７から警報を出力する（ステップＳ１１０）。警報は車室内に備えているナビゲーション装置から音声による警告を行ったり、映像による警告を行う。
【００５８】
警報を出力した後、または、警報による報知が必要ない場合（ステップＳ１０９がＮｏ）は、運転介入が必要であるか否かを判断する（ステップＳ１１１）。運転介入が必要な場合（ステップＳ１１１がＹｅｓ）は、ブレーキ２７やステアリング３７を自動的に操作して運転介入を行う（ステップＳ１１２）。運転介入の例としては、車外の物体に車両１が衝突する可能性が有る場合に、自動的にブレーキ２７を操作して車両を停止させたり、物体が存在しない方向にステアリング３７を自動的に操作するものがある。また、衝突前にシートベルト５を固定したり、ヘッドレスト６を固定したりすることで、衝突に備えて車両１のドライバーなどの乗員の安全を確保できる。
【００５９】
運転介入が必要でない場合（ステップＳ１１１がＮｏ）は、処理を終了する。例えばドライバーの操作により車外の物体との衝突が避けられる場合である。
【００６０】
以上のように本実施の形態の物体検出システム１０においては、電子制御装置４が、レーダ情報に基づく検出対象の候補物体の画像中の座標を導出するとともに、レーダ情報に基づいて候補物体の種類が予測する。そして、電子制御装置４は、画像中における候補物体の導出された座標の周辺における候補物体の予測された種類に応じたサイズの領域を処理対象領域として指定し、その画像領域について画像処理装置３に切り出しを行わせる。この切り出された画像領域のみを対象に物体の検出処理がなされる。これにより、電子制御装置４のＣＰＵ１４が行う画像処理は検出対象とする物体が存在する画像領域に限定され、物体の種類を判定する画像処理負荷を軽減する。また、レーダ装置を採用したことにより、それ自体に負荷がかかるが、画像処理領域を限定することによる画像処理負荷が大幅に減少することから、物体検出システム全体の処理負荷の軽減が可能となる。さらに、電子制御装置４のＣＰＵ１４の処理負荷軽減により、車外の物体に対する車両制御を迅速に行うことができる。
【００６１】
また、レーダ装置２からの情報により予め物体の種類を予測して、電子制御装置４のＣＰＵ１４による物体の種類判定において予測された種類に応じた判定手法を用いる。このため、物体の種類判定を何度もやり直す必要はなく物体の種類判定が迅速に行える。さらに、電子制御装置４のＣＰＵ１４の処理負荷軽減により、物体に対する車両制御を迅速に行うことができる。
【００６２】
また、候補物体が複数あるときには、複数の候補物体のうち車両との距離の近い順から処理対象とするため、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど乗員の安全確保を迅速に行うことが可能となる。
【００６３】
［実施の形態２］
＜２−１．構成＞
図７はナビゲーション装置と各種センサを備えた物体検出システムのブロック図であり、実施の形態１の図２に示したブロック図と主に異なる点は、ナビゲーション装置８と車速センサ１９、ステアリングセンサ２０、ヨーレートセンサ２１の各種センサを新たに備えた点である。以下、実施の形態１に記載した動作内容は省略し、異なる動作内容について述べる。
【００６４】
ナビゲーション装置８は、表示部１８とナビゲーション制御部２８を備えており、表示部１８はドライバーなどの乗員に対して映像や音声で地図などのナビゲーション情報を通知したり、音楽やデジタルＴＶなどのオーディオコンテンツ情報を提供する。ナビゲーション制御部はこれらの情報をドライバーなどの乗員に提供するための制御を行う。
【００６５】
車速センサ１９は車両の速度情報を電子制御装置４に送信する。ステアリングセンサ２９は車両のステアリングの舵角を検出して電子制御装置４に送信する。ヨーレートセンサ３９は車両１の車体の向きの変化を角速度で検出して電子制御装置４に送信する。電子制御装置４はこれらの車両の走行状態に応じて、車両制御の対象とする候補物体の検出を行う。
【００６６】
次にナビゲーション装置８および各種センサを用いて行う候補物体検出の具体例について、図８のカーブでのレーダ装置とカメラを備えた画像処理装置による物体検出範囲を示した図、および、図９のカーブでのカメラを備えた画像処理装置による物体検出の画像を示した図を用いて説明する。
【００６７】
図８では車両１に備えられたレーダ装置２の物体検出範囲Ｒ１とカメラを備えた画像処理装置３のＣ１、Ｃ２の物体検出範囲が重なっている。レーダ装置２および画像処理装置３の物体検出範囲には人２０１とガードレール２０２が候補物体として入っている。ここで、車両１に備えられたナビゲーション装置４は車両１の進行方向の道路が車両１の現在の位置から所定の距離進むとカーブしていることを検出している。ここで本実施形態のカーブ半径は１３０ｍ以下の場合をカーブとするが、これに限らず、本実施形態に述べる効果を有する場合は本実施形態のカーブ半径の値以下のカーブであってもよい。
【００６８】
レーダ装置２のレーダ情報として、車両１との距離が例えば２０ｍ以上離れているような所定の距離を有し、絶対速度がゼロであり、角度は略進行方向正面であり、反射強度が強いピーク（ピークを検出する閾値を超えるパワーを有するピーク）が存在していれば、電子制御装置４から画像処理装置３への所定範囲を切り出す候補物体の対象としてこのレーダ情報を選択しない、または、候補物体として処理の優先順位付けを行わない。
【００６９】
自車線内のカーブの入り口手前でカードレール２０２のような静止物は車両１の制御対象としなくとも、ドライバーのステアリング操作で回避できる。自動的な運転介入を行うことにより、カーブの角度に沿ったステアリングの操作よりも余計にステアリングを操作するような誤った車両制御を行う危険性がある。したがって、車両１がカーブに差し掛かる前に検出した自車線内のガードレールのような静止物は、車両制御の対象とはしない。
【００７０】
なお、ガードレール２０２のような絶対速度がゼロの静止物体のレーダ情報を車両制御の候補物体として選択しない条件としては、ナビゲーション装置４の情報により、その物体が自車線上にあり、かつ、車両１に備えられたステアリングセンサ２９、または、ヨーレートセンサ３９によって車両１がカーブに沿って走行していないことを示していることも含まれる。ここで、自車線上とは本実施例では一例として車両が所定の車線を走行している場合に、その走行方向の両端にある白線から白線の距離約２．５ｍの間に車両１が存在する状態をいうが、これに限られず本実施形態の効果を有する範囲が含まれる。
【００７１】
さらに、車両１がカーブの入り口に差し掛かり、ドライバーがステアリングをカーブの角度に沿って操作した場合は、その車の旋回の度合いに応じて、ステアリングセンサ２９、ヨーレートセンサ３９が車両１のカーブ走行状態を示す。車両１がカーブに沿って走行すると、レーダ装置２の検出範囲Ｒ２、および画像処理装置の検出範囲Ｃ１もカーブの角度に沿って移動する。その結果、レーダ情報により候補物体を検出していれば、車両１との距離や相対速度の情報に応じて優先順位付け行い、候補物体とし画像処理装置３が対象の範囲画像を切り取って、電子制御装置４で物体の種類判定を行い、車両制御の対象物であれば、その物体の状況に応じた車両制御を行うことが可能である。
【００７２】
また、本実施形態の変形例としては、車両１が自車線上を走行中に車速センサ１９からの車両１の速度情報を取得すると、速度と制動距離の関係から車両１の進行方向における対象物との衝突の可能性がある場合は、その物体を候補物体の処理の優先順位を高くして物体の種類判定を行い、迅速な車両制御を行うことができる。
【００７３】
具体的には、ナビゲーション装置４の情報から路面が凍結しているような場合は、車速センサ１９による車両１の速度情報と制動距離の関係を算出する。特に凍結路面では乾燥路面よりも制動距離が２倍から３倍以上伸びることを含めて、乾燥路面では優先順位を低くしているような、車両１との距離が他の候補物体よりも離れているレーダ情報の候補物体の処理の優先順位を高くする。
＜２−２．動作＞
図１０は走行情報を用いた電子制御装置の処理フローチャートである。電子制御装置４はレーダ装置２からレーダ情報を受信する（ステップＳ２０１）。
【００７４】
次に、ナビゲーション装置４、車速センサ１９、ステアリングセンサ２９、または、ヨーレートセンサ３９などの各種センサから車両１の走行情報を受信する（ステップＳ２０２）。ここで、走行情報とは上述のようにナビゲーション装置４から得られる道路のカーブや凍結の状態のほか道路の車線数、道路勾配、路面温度、気温、湿度などが含まれる。さらに、車両１の走行状態とは車両の速度や舵角が情報などである。
【００７５】
電子制御装置４は、ナビゲーション装置４、および、各種センサからの走行情報を候補物体の優先順位付けの情報とともに、レーダ情報に含まれる距離の情報に基づいて、複数の候補物体に対して優先順位付けを行う（ステップＳ２０３）。
【００７６】
具体的には、上述のように自車線上の進行路の所定の距離にカーブが存在する場合は、自車線上のガードレールなどのレーダ情報は電子制御装置４の物体の種類判定の対象としないように、候補物体として選択しない。または、候補物体としての処理の優先順位を他の候補物体よりも下げる。
【００７７】
また、自車線上の道路が凍結している場合は、車両の速度と制動距離を考慮して、他の候補物体と比較して車両との距離が所定距離以上離れているレーダ情報も候補物体として、処理の優先順位を他の候補物体よりも上げる。
【００７８】
次に電子制御装置４は処理の優先順位の高い候補物体からその物体の種類を予測し（ステップＳ２０４）、候補物体のレーダ情報と物体の種類の情報とに基づいて、該当する候補物体が画像処理装置３にある１フレームの画像の中のどの座標に該当するかを算出する（ステップＳ２０５）。
【００７９】
電子制御装置４は予測した物体の種類に応じた画像範囲の座標情報を画像処理装置３に送信する（ステップＳ２０６）。画像の範囲の座標の情報を受信した画像処理装置３は、カメラ１３を用いて撮影した１フレームの物体の種類に応じた画像範囲を切り出して、電子制御装置４に送信する。
【００８０】
電子制御装置４は画像処理装置３が送信した画像情報を受信して（ステップＳ２０７）、物体の種類判定を行う（ステップＳ２０８）。
【００８１】
物体の種類判定の結果、その物体が車両制御の対象物である場合（ステップＳ２０９がＹｅｓ）は、警報器１７からの警報による報知を行うか否かを判断する（ステップＳ２１０）。物体が車両制御の対象でない場合は（ステップＳ２０９がＮｏ）、処理を終了する。
【００８２】
警報による報知が必要な場合（ステップＳ２１０がＹｅｓ）は、警報器１７から警報を出力する（ステップＳ２１１）。警報は図示しない車室内ナビゲーション装置から音声による警告を出力したり、映像による警告を行う。
【００８３】
警報を出力した後、または、警報による報知が必要ない場合（ステップＳ２１０がＮｏ）は、運転介入が必要であるか否かを判断する（ステップＳ２１２）。運転介入が必要な場合（ステップＳ２１２がＹｅｓ）は、ブレーキ２７やステアリング３７を自動的に操作して運転介入を行う（ステップＳ２１３）。
【００８４】
運転介入が必要でない場合（ステップＳ２１２がＮｏ）は、処理を終了する。例えばドライバーの操作により車外の物体との衝突が避けられる場合である。
【００８５】
以上のように、本実施形態では、ナビゲーション装置８、または、各種センサから得られる車両の走行状況を示す走行情報をレーダ装置の情報とあわせて用いることで、車両１が走行する状況に応じて、検出対象とする物体の存在する処理対象領域を選択できる。これにより、電子制御装置４のＣＰＵ１４の処理負荷が軽減されるとともに、車両１の走行状態に応じた車両制御を迅速に行うことができる。
【００８６】
また、車両制御の対象となる可能性の高い物体から順に検出することができ、ドライバーなど車両の乗員の安全確保を迅速に行うことができる。
【符号の説明】
【００８７】
１・・・・・ 車両
２・・・・・ レーダ装置
３・・・・・ 画像処理装置
５・・・・・ シートベルト
６・・・・・ ヘッドレスト
１２・・・・ アンテナ
１３・・・・ カメラ
１４・・・・ ＣＰＵ
１７・・・・ 警報器
２２・・・・ レーダ制御部
２３・・・・ カメラ制御部
２７・・・・ ブレーキ
３７・・・・ ステアリング
【特許請求の範囲】
【請求項１】
車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出装置であって、
前記レーダ情報に基づく前記検出対象の候補物体の前記画像中の座標を導出する導出手段と、
前記レーダ情報に基づいて、前記候補物体の種類を予測する予測手段と、
前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する設定手段と、
前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する検出手段と、
を有することを特徴とする物体検出装置。
【請求項２】
請求項１記載の物体検出装置において、
前記検出手段は、前記処理対象領域から前記検出対象を検出するときに、当該処理対象領域に対応する前記候補物体の予測された種類に応じた判定手法を用いることを特徴とする物体検出装置。
【請求項３】
請求項１または２記載の物体検出装置において、
前記車両の走行状況を示す走行情報を取得する取得手段と、
前記走行情報に基づいて、前記レーダ情報に基づく前記候補物体の一部を処理対象として選択する手段、
をさらに備えることを特徴とする物体検出装置。
【請求項４】
請求項１乃至３のいずれか記載の物体検出装置において、
前記導出手段、前記予測手段、前記設定手段、および、前記検出手段のうち少なくとも１の手段は、
前記レーダ情報に基づく前記候補物体が複数あるとき、複数の前記候補物体のうちの前記車両との距離の近い順から処理対象とすることを特徴とする物体検出装置。
【請求項５】
車両に設けられた前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出方法であって、
前記レーダ情報に基づく前記検出対象との候補物体の前記画像中の座標を導出する工程と、
前記レーダ情報に基づいて、前記候補物体の種類を予測する工程と、
前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する工程と、
前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する工程と、
を有することを特徴とする物体検出方法。
【請求項６】
物体検出システムであって、
車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置と、
前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラと、
レーダ装置からのレーダ情報と、カメラで得られた画像とに基づいて、前記車両外の検出対象を検出する請求項１ないし４のいずれかに記載の物体検出装置と、
を備えることを特徴とする物体検出システム。
【請求項１】
車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出装置であって、
前記レーダ情報に基づく前記検出対象の候補物体の前記画像中の座標を導出する導出手段と、
前記レーダ情報に基づいて、前記候補物体の種類を予測する予測手段と、
前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する設定手段と、
前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する検出手段と、
を有することを特徴とする物体検出装置。
【請求項２】
請求項１記載の物体検出装置において、
前記検出手段は、前記処理対象領域から前記検出対象を検出するときに、当該処理対象領域に対応する前記候補物体の予測された種類に応じた判定手法を用いることを特徴とする物体検出装置。
【請求項３】
請求項１または２記載の物体検出装置において、
前記車両の走行状況を示す走行情報を取得する取得手段と、
前記走行情報に基づいて、前記レーダ情報に基づく前記候補物体の一部を処理対象として選択する手段、
をさらに備えることを特徴とする物体検出装置。
【請求項４】
請求項１乃至３のいずれか記載の物体検出装置において、
前記導出手段、前記予測手段、前記設定手段、および、前記検出手段のうち少なくとも１の手段は、
前記レーダ情報に基づく前記候補物体が複数あるとき、複数の前記候補物体のうちの前記車両との距離の近い順から処理対象とすることを特徴とする物体検出装置。
【請求項５】
車両に設けられた前記車両外の物体の位置と速度を検出するレーダ装置からのレーダ情報と、前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラで得られた画像とに基づいて、前記車両外の検出対象を検出する物体検出方法であって、
前記レーダ情報に基づく前記検出対象との候補物体の前記画像中の座標を導出する工程と、
前記レーダ情報に基づいて、前記候補物体の種類を予測する工程と、
前記画像中における前記候補物体の導出された座標の周辺の、当該候補物体の予測された種類に応じたサイズの領域を処理対象領域に設定する工程と、
前記画像中の前記処理対象領域のみを対象に前記検出対象を検出する工程と、
を有することを特徴とする物体検出方法。
【請求項６】
物体検出システムであって、
車両に設けられ前記車両外の物体の位置と速度を検出するレーダ装置と、
前記車両に設けられ前記レーダ装置の検出範囲と重なる領域を撮像するカメラと、
レーダ装置からのレーダ情報と、カメラで得られた画像とに基づいて、前記車両外の検出対象を検出する請求項１ないし４のいずれかに記載の物体検出装置と、
を備えることを特徴とする物体検出システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２７４５７（Ｐ２０１１−２７４５７Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１０１４（Ｐ２００９−１７１０１４）
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２２日（２００９．７．２２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]