車両周辺監視装置
【課題】カメラとレーダ装置の組み合わせにより物体の実空間位置を算出するときに、車両と物体間の距離の誤検出により、不適切な実空間位置の算出がなされることを防止した車両周辺監視装置を提供する。
【解決手段】物体距離検出部２１によりレーダ装置１２の測距データから検出された物体をカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部２２と、物体距離検出部２１による検出距離に基づいて、物体の実空間位置を算出する実空間位置算出部２３と、前記検出範囲内に存在する格子フェンスを検出する半透過物体検出部２５と、カメラ１１の撮像方向で、格子フェンスと重なる位置に存在する物体については、実空間位置算出部２３による実空間位置の算出を禁止する実空間位置信頼性判定部２４とを備える。
【解決手段】物体距離検出部２１によりレーダ装置１２の測距データから検出された物体をカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部２２と、物体距離検出部２１による検出距離に基づいて、物体の実空間位置を算出する実空間位置算出部２３と、前記検出範囲内に存在する格子フェンスを検出する半透過物体検出部２５と、カメラ１１の撮像方向で、格子フェンスと重なる位置に存在する物体については、実空間位置算出部２３による実空間位置の算出を禁止する実空間位置信頼性判定部２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたレーダ装置とカメラにより、車両の周辺に存在する物体を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたレーダ装置とカメラにより、車両の周辺に存在する物体の種別を判別すると共に、この物体の実空間位置を算出する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
従来の車両周辺監視装置においては、レーダ装置により車両周辺に存在する物体を検出して、この物体と車両間の距離を検出する。そして、カメラの撮像画像に、レーダ装置により検出された物体を投影することにより、物体の画像部分を検出してその種別を判別する。
【０００４】
物体の種別が歩行者等の監視対象物であったときには、車両と物体間の検出距離に基づいて、撮像画像上での物体の画像部分の位置が物体の実空間位置に変換され、車両と物体との相対位置が算出される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２６４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願発明者らは、上述したように、カメラとレーダ装置を組み合わせて、車両周辺に存在する物体の画像と物体までの距離を検出した場合に、カメラによる検出物体とレーダ装置による検出物体との不整合により、カメラによる検出物体までの距離が誤って検出される場合があることを知見した。そして、このように、カメラによる検出物体までの距離が誤って検出されたときには、この距離に基づく物体の実空間位置の算出が不適切なものとなる。
【０００７】
本発明はかかる背景を鑑みてなされたものであり、カメラとレーダ装置の組み合わせにより、車両周辺に存在する物体の実空間位置を算出するときに、レーダ装置による車両と物体間の距離の誤検出により、不適切な実区間位置が用いられることを防止した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載されたレーダ装置により前記車両周辺の検出範囲を走査することによって、該検出範囲内に存在する物体を検出して、該物体と前記車両間の距離を検出する物体距離検出部と、前記物体距離検出部により検出された物体を、前記車両に搭載されたカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部と、前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出する実空間位置算出部とを備えた車両周辺監視装置に関する。
【０００９】
そして、前記検出範囲内に存在し、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体を検出する半透過物体検出部と、前記カメラの撮像方向で、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる実空間位置信頼性判定部とを備えたことを特徴とする（第１発明）。
【００１０】
第１発明において、前記車両とその周辺に存在する物体との間に、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体（格子フェンス等）が介在する場合がある。この場合には、前記カメラにより半透過物体を通して背後の物体が撮像される一方で、前記レーダ装置により半透過物体のみが検出され、半透過物体の背後の物体は前記レーダ装置によって検出されない状況となる場合がある。
【００１１】
そして、この場合に、前記実空間位置算出部により、前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出すると、この物体と異なる半透過物体の検出距離に基づく誤った実空間位置が算出されてしまう。
【００１２】
そこで、前記実空間位置信頼性判定部は、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる。これにより、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体について、不適切な実空間位置が用いられることを防止することができる。
【００１３】
また、第１発明において、前記画像部分検出部により検出された画像部分のぼけ度合を算出するぼけ度合算出部を備え、前記実空間位置信頼性判定部は、前記画像部分検出部により画像部分が検出された物体について、前記ぼけ度合算出部により算出された該画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする（第２発明）。
【００１４】
第２発明によれば、前記画像部分検出部により検出される物体の画像部分のぼけ度合は、この物体と前記車両間の距離に応じて変化する。そこで、前記実空間位置信頼性判定部は、前記ぼけ度合算出部により算出された物体の画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による物体の実空間位置の算出を禁止する。これにより、画像部分と検出距離の対応が誤っているときに、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００１５】
なお、このように、実空間位置算出部による物体の実空間位置の算出を禁止する処理は、実空間位置算出部により算出される物体の実空間位置の信頼性を下げることに相当する。
【００１６】
また、第１発明又は第２発明において、前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の変位状況を算出する変位状況算出部を備え、前記実空間位置信頼性判定部は、前記変位状況算出部により算出された前記変位状況が、前記同一物体について前記物体距離検出部により検出された前記車両との距離の変化と、前記車両の走行速度とに基づいて算出した推定変位状況から、第２所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする（第３発明）。
【００１７】
第３発明によれば、前記変位状況算出部により算出された前記変位状況が、前記推定変位状況から前記第２所定レベル以上乖離しているときには、前記画像部分検出部により画像部分が検出された物体と、前記物体距離検出部により検出された距離との対応が誤っていると判断することができる。そのため、前記実空間位置信頼性判定部は、この場合に、前記実空間位置算出部によるこの物体の実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された物体について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００１８】
また、第１発明から第３発明のうちのいずれかにおいて、前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の大きさの変化率を算出し、該変化率と前記車両の走行速度とに基づいて、該同一物体と前記車両間の推定距離を算出する推定距離算出部を備え、前記実空間位置信頼性判定部は、前記同一物体について前記物体距離検出部により検出された前記車両との距離が、前記推定距離算出部により算出された前記推定距離から、第３所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする（第４発明）。
【００１９】
第４発明によれば、前記物体距離検出部により検出された距離が、前記推定距離算出部により算出された推定距離から前記第３所定レベル以上乖離しているときには、前記画像部分検出部により画像部分が検出された物体と、前記物体距離検出部により検出された距離との対応が誤っていると判断することができる。そのため、前記実空間位置信頼性判定部は、この場合に、前記実空間位置算出部によるこの物体の実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された物体について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００２０】
また、第１発明から第４発明のうちのいずれかにおいて、前記車両に搭載されたナビゲーション装置により、前記車両の地図上の位置を認識する自車両位置認識部を備え、前記実空間位置信頼性判定部は、前記画像部分検出部により歩行者の画像部分が検出され、前記自車両位置算出部により算出された前記車両の地図上の位置と、前記物体距離検出部により検出された距離とに基づいて認識した地図上の該歩行者の位置が、道路から外れているときに、前記実空間位置算出部による該歩行者の実空間位置の算出を禁止することを特徴とする（第５発明）。
【００２１】
第５発明によれば、前記物体位置検出部により検出された歩行者の位置が、前記ナビゲーション装置による前記車両の地図上の位置が道路から外れている不自然な状況であるときに、前記実空間位置信頼性判定部は、この歩行者について、前記実空間位置算出部による実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された歩行者について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００２２】
また、第１発明から第５発明のうちのいずれかにおいて、前記半透過物体検出部は、前記半透過物体として格子フェンスを検出することを特徴とする（第６発明）。
【００２３】
第６発明によれば、格子を介して前記カメラにより背後の物体が撮像されると共に、前記レーダ装置から出力されるビームが格子によって遮蔽されて背後の物体には到達しない格子フェンスを、前記半透過物体として検出することができる。
【００２４】
また、第６発明において、前記半透過物体検出部は、前記レーダ装置の測距データから算出される物体の幅が、所定値以上であるときに、該物体が格子フェンスであると検出することを特徴とする（第７発明）。
【００２５】
第７発明によれば、監視対象物である歩行者等よりも幅が大きくなる格子フェンスの存在を、前記レーダ装置の測距データから容易に検出することができる。
【図面の簡単な説明】
【００２６】
【図１】車両周辺監視装置の車両への取付態様の説明図。
【図２】レーダ装置の左右方向の走査範囲の説明図。
【図３】車両周辺監視装置の構成図。
【図４】車両と物体との間に格子フェンスが介在する状況の説明図。
【図５】格子フェンスとその背後に存在する物体の撮像画像の説明図。
【図６】格子フェンスを検出する処理の一例の説明図。
【図７】画像部分のぼけ度合により、検出距離の適否を判断する処理の説明図。
【図８】画像部分のオプティカルフローにより、検出距離の適否を判断する処理の説明図。
【図９】画像部分の大きさの変化率に基づく推定距離により、検出距離の適否を判断する処理の説明図。
【図１０】ナビゲーション装置からの情報により、検出距離の適否を判断する処理の説明図。
【発明を実施するための形態】
【００２７】
本発明の車両周辺監視装置の実施形態について、図１〜図１０を参照して説明する。
【００２８】
図１を参照して、車両周辺監視装置１０は、前側に赤外線カメラ１１とレーダ装置１２が装着された車両（自車両）１に搭載されている。赤外線カメラ１１は、撮像物の温度が高いほど出力レベルが高くなる（輝度が高くなる）特性を有している。なお、赤外線カメラ１１に代えて可視光等、他の波長領域に感度が調節されたカメラを用いてもよい。
【００２９】
また、レーダ装置１２により検出される物体の実空間座標系が、車両１の前部を原点０とし、Ｘ軸を車両１の左右方向、Ｙ軸を車両１の上下方向、Ｚ軸を車両１の前後方向として定義されている。
【００３０】
レーダ装置１２は、車両１の前側の赤外線カメラ１１の上部位置に取付けられている。レーダ装置１２は、図２に示したように、車両１の上方から見たときに、赤外線カメラ１１の撮像範囲Ｌ1〜Ｌ2よりも狭い幅で広がるミリ波（電磁波）のビームＢＭを、車両１の前方の検出範囲が車両１の左右方向に走査されるように、一定強度のビームＢＭの送信角度を一定角度ずつずらして出力する。
【００３１】
ビームＢＭの左右方向の走査範囲は、赤外線カメラ１１の撮像領域Ｌ1〜Ｌ2を、水平方向について全て含むように設定されている。また、ビームＢＭの上下方向の幅は、赤外線カメラ１１の撮像範囲Ｌ1〜Ｌ2の上下方向の視野を含むように設定されている。
【００３２】
そして、レーダ装置１２は、このミリ波の反射波、すなわち、車両１の前方に存在する物体により反射されたミリ波を上下方向に配列された受信アンテナ（図示しない）により受信する。レーダ装置１２は、受信した反射波のうちの所定強度以上の反射波に基づいて、ビームＢＭの送信方向に存在する物体を検出する。
【００３３】
また、レーダ装置１２は、送信波と受信波との時間差に基づいて、ビームＢＭを反射した物体と車両１間の距離を検出する。なお、レーダ装置としてはミリ波等の電磁波（レーザー光など）のほか、超音波等の弾性振動波を用いるレーダ装置を採用してもよい。
【００３４】
次に、図３を参照して、車両周辺監視装置１０は、ＣＰＵ、メモリ、インターフェース回路等（図示しない）により構成された電子ユニットであり、赤外線カメラ１１から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方画像に対して、ＣＰＵにより各種演算処理を行う機能を有している。
【００３５】
また、車両周辺監視装置１０には、レーダ装置１２から、物体で反射されたミリ波の反射強度を示す反射強度データと、この物体と車両１間の距離を示す距離データとを含む測距データが入力される。さらに、車両１には、車両１のヨーレートを検出するヨーレートセンサ１３、車両１の走行速度を検出する速度センサ１４、車両１のブレーキペダル（図示しない）の操作状態を検出するブレーキセンサ１５が備えられ、これらのセンサの検出信号が車両周辺監視装置１０に入力される。
【００３６】
また、車両１には、音声出力装置１６、画像出力装置１７、制動装置１８、及びナビゲーション装置１９が備えられ、車両周辺監視装置１０から出力される制御信号により、これらの装置の作動が制御される。なお、画像出力装置１７としては、車両１のフロントウィンドウに画像を表示するＨＵＤ（ヘッドアップディスプレイ）、車両１の走行状況を示す表示計、ナビゲーション装置を構成するディスプレイ装置等が採用される。
【００３７】
車両周辺監視装置１０は、メモリに保持された車両周辺監視用プログラムをＣＰＵで実行することにより、レーダ装置１２から出力される測距データに基づいて、車両１の前方に所在する物体を検出して、この物体と車両１間の距離を検出する物体距離検出部２１、赤外線カメラ１１による撮像画像から、物体距離検出部２１により検出された物体の画像部分を検出する画像部分検出部２２、画像部分検出部２２により画像部分が検出された物体の実空間位置を算出する実空間位置算出部２３、及び実空間位置算出部２３により算出される物体の実空間位置の信頼性を判定する実空間位置信頼性判定部２４として機能する。
【００３８】
さらに、車両周辺監視装置１０は、赤外線カメラ１１による撮像画像又はレーダ装置１２から出力される測距データに基づいて、半透過物体（例えば、金網等の格子フェンス）を検出する半透過物体検出部２５、画像部分検出部２２により検出された画像部分のぼけ度合を算出するぼけ度合算出部２６、赤外線カメラ１１による時系列の撮像画像間で、同一物体の画像部分のオプティカルフローを算出する変位状況算出部２７、及び、赤外線カメラ１１による時系列の撮像画像間で、同一物体の大きさの変化率を算出する推定距離算出部２８として機能する。
【００３９】
物体距離検出部２１は、所定の制御サイクル毎に、検出範囲内をレーダ装置１２により走査して検出範囲内に存在する物体を検出して、物体と車両１間の距離を検出する。画像部分検出部２２は、物体距離検出部２１による物体の検出位置を赤外線カメラ１１の撮像画像に投影して、この物体の画像部分の検出範囲を設定し、この検出範囲内でこの物体の画像部分を検出する。
【００４０】
実空間位置算出部２３は、画像部分検出部２２により検出された画像部分の位置（座標）を、物体距離検出部２１により検出された距離に基づいて実空間位置に座標変換することで、画像部分が検出された物体の実空間位置を算出する。
【００４１】
なお、このように、撮像画像における画像部分の位置を、物体と車両１との距離に基づいて実空間位置に変換する処理の詳細については、上述した特開平９−２６４９５４号公報に記載されているので、ここでは説明を省略する。
【００４２】
車両周辺監視装置１０は、実空間位置算出部２３により実空間位置が算出された物体と車両１との接触可能性を判断する。なお、車両１と物体との接触可能性の判断処理については、例えば、特開２００１−６０９６号公報に記載されているように、検出された物体の移動ベクトルが、車両前方に設定された進入判定領域から接近判定領域に進む（物体が車両１に接近する）と判定されたときに、この物体（接近物体）と車両１が接触する可能性があると判定する。
【００４３】
この物体と車両１が接触する可能性があると判定した場合に、車両周辺監視装置１０は、接触回避処理を実行する。具体的には、車両周辺監視装置１０は、ブレーキセンサ１５の検出信号により、運転者がブレーキ操作をしているか否かを判断する。そして、ブレーキ操作をしていないときは、直ちに、音声出力装置１６及び画像出力装置１７による警報を出力する。
【００４４】
一方、運転者がブレーキ操作をしているときは、車両周辺監視装置１０は、このブレーキ操作に応じた制動装置１８の作動により、接触が回避されるか否かを判断する。そして、回避されると判断したときには、警報を出力しないようにして、運転者に余計な煩わしさを与えないようにする。
【００４５】
また、回避されると判断しなかったときには、車両周辺監視装置１０は、音声出力装置１６及び画像出力装置１７による警報を出力する。さらに、車両周辺監視装置１０は、必要に応じて接触が回避されるように制動装置１８を作動させる。
【００４６】
次に、実空間位置信頼性判定部２４は、以下の第１条件〜第５条件のうちの少なくとも一つが成立したときに、前記物体距離検出部２１により検出された物体と車両１間の距離に基づく、実空間位置算出部２３による物体の実空間位置の算出を禁止する処理を行う。以下、図４〜図１０を参照して、この処理について説明する。なお、このように、実空間位置算出部２３による物体の実空間位置の算出を禁止する処理は、実空間位置算出部２３により算出される物体の実空間位置の信頼性を下げることに相当する。
【００４７】
［第１条件］格子フェンスの検出による条件
図４（ａ）に示したように、車両１と物体６０（広告板等）との間に格子フェンス５０（金網フェンス等）が介在しているときに、レーダ装置１２は、手前に存在する格子フェンス５０を検出する。しかし、格子フェンス５０の背後に存在する物体６０については、レーダ装置１２により検出されない場合がある。
【００４８】
そしてこの場合には、画像部分６０ａが検出された物体６０と車両１間の距離が、図４（ａ）に示したように、真の距離である４０ｍではなく、格子フェンス５０との距離２０ｍであると誤って検出されてしまう。
【００４９】
そこで、実空間位置信頼性判定部２４は、半透過物体検出部２５により格子フェンス５０が検出されたときに、車両１からみたときに格子フェンス５０と重なる物体６０については、実空間位置算出部２３による、物体距離検出部２１により検出された物体６０と車両１間の距離（２０ｍ）に基づく実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（２０ｍ）に基づく、不適切な実空間位置の算出が行われることを防止する。
【００５０】
なお、物体６０の実空間位置が、車両１から２０ｍの位置に誤って算出されると、物体６０の画像部分６０ａの大きさが、車両１から２０ｍ離れた歩行者を想定した大きさに近くなる場合がある。そして、この場合には、車両周辺監視装置１による接触回避処理が実行されて、運転者に違和感や不安感を抱かせるおそれがあるが、上記第１条件により、不適切な実空間位置の算出が行われることを防止することによって、このような違和感や不安感を抱かせることを防止することができる。
【００５１】
また、半透過物体検出部２５は、図５に示したように、赤外線カメラ１１の撮像画像Ｉm2から、格子パターンを有する画像部分５０ｂを、金網フェンスの画像部分として検出する。
【００５２】
なお、レーダ装置１２から出力される測距データによる反射強度の分布が、上端と下端部で強く、中間部で弱い物体について、格子フェンスであると検出するようにしてもよい。
【００５３】
また、図６に示したように、赤外線カメラ１１による撮像データ、又はレーダ装置１２から出力される測距データにより、横方向（Ｘ軸方向）の幅が所定値（歩行者の幅よりも大きい値に設定される）以上である物体５０が検出されたときに、物体５０が格子フェンスであると検出するようにしてもよい。
【００５４】
［第２条件］画像部分のぼけ度合による条件
図７を参照して、赤外線カメラ１１の撮像画像Ｉm3における物体５０の撮像画像５０ｃのぼけ度合は、物体５０と車両１間の距離が長くなるほど大きくなる。そこで、ぼけ度合算出部２６は、画像部分検出部２２により検出された物体の画像部分について、ぼけ度合を算出する。なお、ぼけ度合は、画像部分の輝度分布等に基づいて算出される。
【００５５】
そして、実空間位置信頼性判定部２３は、物体距離検出部２１により検出された物体と車両１間の距離と、ぼけ度合算出部２６により算出されたぼけ度合との対応関係が、予め設定された距離−ぼけ度合の基準値（距離○○ｍ−ぼけ度合△△％のように設定される）から第１所定レベル以上乖離したときに、実空間位置算出部２３による、この物体の実空間位置の算出を禁止する。
【００５６】
これにより、物体６０と車両１間の誤った検出距離（２０ｍ）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００５７】
［第３条件］オプティカルフローによる条件
変位状況算出部２７は、赤外線カメラ１１により制御サイクル毎に撮像された時系列画像間で、同一物体の画像部分のオプティカルフロー（本発明の変位状況に相当する）を算出する。なお、時系列の各撮像画像からの同一物体の画像部分の抽出処理については、例えば、特開２００１−６０９６号公報に記載された同一性判定の処理を用いて行われる。
【００５８】
図８（ａ）に示したように、車両１の赤外線カメラ１１及びレーダ装置１２と物体６０との間に、格子フェンス５０（金網フェンス等）が介在している状態で、赤外線カメラ１１の時系列の撮像画像間における画像部分のオプティカルフローを算出すると、図８（ｂ）のＶ1に示したようになる。
【００５９】
図８（ｂ）のＶ2は、物体距離検出部２１により検出された距離と車両１間の距離と、速度センサ１４により検出された車両１の走行速度とに基づいて算出された推定オプティカルフロー（本発明の推定変位状況に相当する）を示している。
【００６０】
ここで、物体距離検出部２１による検出距離が物体６０と車両１間の距離であるときには、Ｖ1とＶ2はほぼ等しくなる。それに対して、物体距離検出部２１による検出距離が格子フェンス５０と自車両１間の距離であるときには、Ｖ1がＶ2と異なるものとなる。
【００６１】
そこで、実空間位置信頼性判定部２４は、変位状況算出部２７により算出されたオプティカルフローＶ1が、推定オプティカルフローＶ2から第２所定レベル以上乖離したときに、実空間位置算出部２３による物体６０の実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（格子フェンス５０と車両１間の検出距離）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００６２】
［第４条件］画像部分の大きさの変化率による条件
推定距離算出部２８は、赤外線カメラ１１により制御サイクル毎に撮像された時系列画像間で、同一物体の画像部分の大きさの変化率を算出する。なお、時系列の各撮像画像からの同一物体の画像部分の抽出処理については、例えば、特開２００１−６０９６号公報に記載された同一性判定の処理を用いて行われる。
【００６３】
図９（ａ），図９（ｂ）は、図８（ａ）に示したように、車両１の赤外線カメラ１１及びレーダ装置１２と物体６０との間に、格子フェンス５０（金網フェンス等）が介在している状態で、時刻ｔ1で撮像された画像Ｉm5と時刻ｔ2（ｔ2＝ｔ1＋Δｔ）で撮像された画像Ｉm6を示している。
【００６４】
この場合、推定距離算出部２８は、Ｉm6における物体６０の画像部分６０ｆの高さｈ2を、Ｉm5における物体６０の画像部分６０ｅの高さｈ1で除して、物体６０の画像部分の大きさの変化率（＝ｈ2／ｈ1）を算出する。
【００６５】
そして、実空間位置信頼性判定部２４は、物体６０の画像部分の大きさの変化率と、速度センサ１４により検出された車両１の走行速度とに基づいて、物体６０と車両１間の距離を推定する。
【００６６】
ここで、物体距離検出部２１による検出距離が物体６０と車両１間の距離であるときには、この検出距離は上記推定距離とほぼ等しくなる。それに対して、物体距離検出部２１による検出距離が格子フェンス５０と自車両１間の距離であるときには、この検出距離は上記推定距離と異なるものとなる。
【００６７】
そこで、実空間位置信頼性判定部２４は、物体距離検出部２１による検出距離が、推定距離算出部２８により算出された物体６０と車両１間の推定距離から第３所定レベル以上乖離したときに、実空間位置算出部２３による物体６０の実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（格子フェンス５０と車両１間の検出距離）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００６８】
［第５条件］ナビゲーション装置の情報による条件
実空間位置信頼性判定部２４は、画像部分検出部２２により画像部分が検出された物体が歩行者であると識別したときに、図１０に示したように、ナビゲーション装置１９からのデータにより得られる地図データＭａ上の車両１の位置７１と、物体距離検出部２１により検出された歩行者と車両１間の距離に基づく、地図データＭａ上の歩行者の位置７２を算出する。
【００６９】
そして、地図データＭａ上の歩行者の位置７２が道路から外れているときに、実空間位置信頼性判定部２４は、実空間位置算出部２３による歩行者の実空間位置の算出を禁止する。これにより、歩行者と車両１間の誤った検出距離に基づく、不適切な実空間位置の算出が行われることを防止している。
【００７０】
なお、本実施形態では、実空間位置信頼性判定部２４は、上記第１条件〜第５条件の成否を判断して、実空間位置算出部２３により、誤った検出距離に基づく実空間位置の算出が行われることを防止したが、必ずしも全ての条件を判断する必要はなく、少なくとも上記第１条件の成否を判断することにより、本発明の効果を得ることができる。
【００７１】
また、本実施形態では、実空間位置信頼性判定部２４は、上記第１条件〜第５条件の成否を判断して、実空間位置算出部２３による物体の実空間位置の算出を禁止したが、判断結果に応じて実空位置算出部２３により算出される物体の実空間位置の信頼性を下げるようにしてもよい。そして、信頼性の程度に応じて、実空間位置算出部２３により算出される物体の実空間位置を採用するか否かを決定するようにしてもよい。
【００７２】
また、本実施の形態では、レーダ装置１２から出力されるビームを遮蔽すると共に、赤外線カメラ１１により撮像されたときに背後の他物体が撮像される半透過物体として、格子フェンスを検出する例を示したが、他の種類の半透過物体についても本発明の適用が可能である。
【符号の説明】
【００７３】
１…車両（自車両）、１０…車両周辺監視装置、１１…赤外線カメラ、１２…レーダ装置、１６…音声出力装置、１７…画像出力装置、１８…制動装置、１９…ナビゲーション装置、２１…物体距離検出部、２２…画像部分検出部、２３…実空間位置算出部、２４…実空間位置信頼性判定部、２５…半透過物体検出部、２６…ぼけ度合算出部、２７…変位状況算出部、２８…推定距離算出部、５０…格子フェンス（半透過物体）。
【技術分野】
【０００１】
本発明は、車両に搭載されたレーダ装置とカメラにより、車両の周辺に存在する物体を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたレーダ装置とカメラにより、車両の周辺に存在する物体の種別を判別すると共に、この物体の実空間位置を算出する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
従来の車両周辺監視装置においては、レーダ装置により車両周辺に存在する物体を検出して、この物体と車両間の距離を検出する。そして、カメラの撮像画像に、レーダ装置により検出された物体を投影することにより、物体の画像部分を検出してその種別を判別する。
【０００４】
物体の種別が歩行者等の監視対象物であったときには、車両と物体間の検出距離に基づいて、撮像画像上での物体の画像部分の位置が物体の実空間位置に変換され、車両と物体との相対位置が算出される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２６４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願発明者らは、上述したように、カメラとレーダ装置を組み合わせて、車両周辺に存在する物体の画像と物体までの距離を検出した場合に、カメラによる検出物体とレーダ装置による検出物体との不整合により、カメラによる検出物体までの距離が誤って検出される場合があることを知見した。そして、このように、カメラによる検出物体までの距離が誤って検出されたときには、この距離に基づく物体の実空間位置の算出が不適切なものとなる。
【０００７】
本発明はかかる背景を鑑みてなされたものであり、カメラとレーダ装置の組み合わせにより、車両周辺に存在する物体の実空間位置を算出するときに、レーダ装置による車両と物体間の距離の誤検出により、不適切な実区間位置が用いられることを防止した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載されたレーダ装置により前記車両周辺の検出範囲を走査することによって、該検出範囲内に存在する物体を検出して、該物体と前記車両間の距離を検出する物体距離検出部と、前記物体距離検出部により検出された物体を、前記車両に搭載されたカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部と、前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出する実空間位置算出部とを備えた車両周辺監視装置に関する。
【０００９】
そして、前記検出範囲内に存在し、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体を検出する半透過物体検出部と、前記カメラの撮像方向で、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる実空間位置信頼性判定部とを備えたことを特徴とする（第１発明）。
【００１０】
第１発明において、前記車両とその周辺に存在する物体との間に、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体（格子フェンス等）が介在する場合がある。この場合には、前記カメラにより半透過物体を通して背後の物体が撮像される一方で、前記レーダ装置により半透過物体のみが検出され、半透過物体の背後の物体は前記レーダ装置によって検出されない状況となる場合がある。
【００１１】
そして、この場合に、前記実空間位置算出部により、前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出すると、この物体と異なる半透過物体の検出距離に基づく誤った実空間位置が算出されてしまう。
【００１２】
そこで、前記実空間位置信頼性判定部は、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる。これにより、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体について、不適切な実空間位置が用いられることを防止することができる。
【００１３】
また、第１発明において、前記画像部分検出部により検出された画像部分のぼけ度合を算出するぼけ度合算出部を備え、前記実空間位置信頼性判定部は、前記画像部分検出部により画像部分が検出された物体について、前記ぼけ度合算出部により算出された該画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする（第２発明）。
【００１４】
第２発明によれば、前記画像部分検出部により検出される物体の画像部分のぼけ度合は、この物体と前記車両間の距離に応じて変化する。そこで、前記実空間位置信頼性判定部は、前記ぼけ度合算出部により算出された物体の画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による物体の実空間位置の算出を禁止する。これにより、画像部分と検出距離の対応が誤っているときに、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００１５】
なお、このように、実空間位置算出部による物体の実空間位置の算出を禁止する処理は、実空間位置算出部により算出される物体の実空間位置の信頼性を下げることに相当する。
【００１６】
また、第１発明又は第２発明において、前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の変位状況を算出する変位状況算出部を備え、前記実空間位置信頼性判定部は、前記変位状況算出部により算出された前記変位状況が、前記同一物体について前記物体距離検出部により検出された前記車両との距離の変化と、前記車両の走行速度とに基づいて算出した推定変位状況から、第２所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする（第３発明）。
【００１７】
第３発明によれば、前記変位状況算出部により算出された前記変位状況が、前記推定変位状況から前記第２所定レベル以上乖離しているときには、前記画像部分検出部により画像部分が検出された物体と、前記物体距離検出部により検出された距離との対応が誤っていると判断することができる。そのため、前記実空間位置信頼性判定部は、この場合に、前記実空間位置算出部によるこの物体の実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された物体について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００１８】
また、第１発明から第３発明のうちのいずれかにおいて、前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の大きさの変化率を算出し、該変化率と前記車両の走行速度とに基づいて、該同一物体と前記車両間の推定距離を算出する推定距離算出部を備え、前記実空間位置信頼性判定部は、前記同一物体について前記物体距離検出部により検出された前記車両との距離が、前記推定距離算出部により算出された前記推定距離から、第３所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする（第４発明）。
【００１９】
第４発明によれば、前記物体距離検出部により検出された距離が、前記推定距離算出部により算出された推定距離から前記第３所定レベル以上乖離しているときには、前記画像部分検出部により画像部分が検出された物体と、前記物体距離検出部により検出された距離との対応が誤っていると判断することができる。そのため、前記実空間位置信頼性判定部は、この場合に、前記実空間位置算出部によるこの物体の実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された物体について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００２０】
また、第１発明から第４発明のうちのいずれかにおいて、前記車両に搭載されたナビゲーション装置により、前記車両の地図上の位置を認識する自車両位置認識部を備え、前記実空間位置信頼性判定部は、前記画像部分検出部により歩行者の画像部分が検出され、前記自車両位置算出部により算出された前記車両の地図上の位置と、前記物体距離検出部により検出された距離とに基づいて認識した地図上の該歩行者の位置が、道路から外れているときに、前記実空間位置算出部による該歩行者の実空間位置の算出を禁止することを特徴とする（第５発明）。
【００２１】
第５発明によれば、前記物体位置検出部により検出された歩行者の位置が、前記ナビゲーション装置による前記車両の地図上の位置が道路から外れている不自然な状況であるときに、前記実空間位置信頼性判定部は、この歩行者について、前記実空間位置算出部による実空間位置の算出を禁止する。これにより、前記画像部分検出部により画像部分が検出された歩行者について、前記実空間位置算出部により不適切な実空間位置が算出されて、不適切な実空間位置が用いられることを防止することができる。
【００２２】
また、第１発明から第５発明のうちのいずれかにおいて、前記半透過物体検出部は、前記半透過物体として格子フェンスを検出することを特徴とする（第６発明）。
【００２３】
第６発明によれば、格子を介して前記カメラにより背後の物体が撮像されると共に、前記レーダ装置から出力されるビームが格子によって遮蔽されて背後の物体には到達しない格子フェンスを、前記半透過物体として検出することができる。
【００２４】
また、第６発明において、前記半透過物体検出部は、前記レーダ装置の測距データから算出される物体の幅が、所定値以上であるときに、該物体が格子フェンスであると検出することを特徴とする（第７発明）。
【００２５】
第７発明によれば、監視対象物である歩行者等よりも幅が大きくなる格子フェンスの存在を、前記レーダ装置の測距データから容易に検出することができる。
【図面の簡単な説明】
【００２６】
【図１】車両周辺監視装置の車両への取付態様の説明図。
【図２】レーダ装置の左右方向の走査範囲の説明図。
【図３】車両周辺監視装置の構成図。
【図４】車両と物体との間に格子フェンスが介在する状況の説明図。
【図５】格子フェンスとその背後に存在する物体の撮像画像の説明図。
【図６】格子フェンスを検出する処理の一例の説明図。
【図７】画像部分のぼけ度合により、検出距離の適否を判断する処理の説明図。
【図８】画像部分のオプティカルフローにより、検出距離の適否を判断する処理の説明図。
【図９】画像部分の大きさの変化率に基づく推定距離により、検出距離の適否を判断する処理の説明図。
【図１０】ナビゲーション装置からの情報により、検出距離の適否を判断する処理の説明図。
【発明を実施するための形態】
【００２７】
本発明の車両周辺監視装置の実施形態について、図１〜図１０を参照して説明する。
【００２８】
図１を参照して、車両周辺監視装置１０は、前側に赤外線カメラ１１とレーダ装置１２が装着された車両（自車両）１に搭載されている。赤外線カメラ１１は、撮像物の温度が高いほど出力レベルが高くなる（輝度が高くなる）特性を有している。なお、赤外線カメラ１１に代えて可視光等、他の波長領域に感度が調節されたカメラを用いてもよい。
【００２９】
また、レーダ装置１２により検出される物体の実空間座標系が、車両１の前部を原点０とし、Ｘ軸を車両１の左右方向、Ｙ軸を車両１の上下方向、Ｚ軸を車両１の前後方向として定義されている。
【００３０】
レーダ装置１２は、車両１の前側の赤外線カメラ１１の上部位置に取付けられている。レーダ装置１２は、図２に示したように、車両１の上方から見たときに、赤外線カメラ１１の撮像範囲Ｌ1〜Ｌ2よりも狭い幅で広がるミリ波（電磁波）のビームＢＭを、車両１の前方の検出範囲が車両１の左右方向に走査されるように、一定強度のビームＢＭの送信角度を一定角度ずつずらして出力する。
【００３１】
ビームＢＭの左右方向の走査範囲は、赤外線カメラ１１の撮像領域Ｌ1〜Ｌ2を、水平方向について全て含むように設定されている。また、ビームＢＭの上下方向の幅は、赤外線カメラ１１の撮像範囲Ｌ1〜Ｌ2の上下方向の視野を含むように設定されている。
【００３２】
そして、レーダ装置１２は、このミリ波の反射波、すなわち、車両１の前方に存在する物体により反射されたミリ波を上下方向に配列された受信アンテナ（図示しない）により受信する。レーダ装置１２は、受信した反射波のうちの所定強度以上の反射波に基づいて、ビームＢＭの送信方向に存在する物体を検出する。
【００３３】
また、レーダ装置１２は、送信波と受信波との時間差に基づいて、ビームＢＭを反射した物体と車両１間の距離を検出する。なお、レーダ装置としてはミリ波等の電磁波（レーザー光など）のほか、超音波等の弾性振動波を用いるレーダ装置を採用してもよい。
【００３４】
次に、図３を参照して、車両周辺監視装置１０は、ＣＰＵ、メモリ、インターフェース回路等（図示しない）により構成された電子ユニットであり、赤外線カメラ１１から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方画像に対して、ＣＰＵにより各種演算処理を行う機能を有している。
【００３５】
また、車両周辺監視装置１０には、レーダ装置１２から、物体で反射されたミリ波の反射強度を示す反射強度データと、この物体と車両１間の距離を示す距離データとを含む測距データが入力される。さらに、車両１には、車両１のヨーレートを検出するヨーレートセンサ１３、車両１の走行速度を検出する速度センサ１４、車両１のブレーキペダル（図示しない）の操作状態を検出するブレーキセンサ１５が備えられ、これらのセンサの検出信号が車両周辺監視装置１０に入力される。
【００３６】
また、車両１には、音声出力装置１６、画像出力装置１７、制動装置１８、及びナビゲーション装置１９が備えられ、車両周辺監視装置１０から出力される制御信号により、これらの装置の作動が制御される。なお、画像出力装置１７としては、車両１のフロントウィンドウに画像を表示するＨＵＤ（ヘッドアップディスプレイ）、車両１の走行状況を示す表示計、ナビゲーション装置を構成するディスプレイ装置等が採用される。
【００３７】
車両周辺監視装置１０は、メモリに保持された車両周辺監視用プログラムをＣＰＵで実行することにより、レーダ装置１２から出力される測距データに基づいて、車両１の前方に所在する物体を検出して、この物体と車両１間の距離を検出する物体距離検出部２１、赤外線カメラ１１による撮像画像から、物体距離検出部２１により検出された物体の画像部分を検出する画像部分検出部２２、画像部分検出部２２により画像部分が検出された物体の実空間位置を算出する実空間位置算出部２３、及び実空間位置算出部２３により算出される物体の実空間位置の信頼性を判定する実空間位置信頼性判定部２４として機能する。
【００３８】
さらに、車両周辺監視装置１０は、赤外線カメラ１１による撮像画像又はレーダ装置１２から出力される測距データに基づいて、半透過物体（例えば、金網等の格子フェンス）を検出する半透過物体検出部２５、画像部分検出部２２により検出された画像部分のぼけ度合を算出するぼけ度合算出部２６、赤外線カメラ１１による時系列の撮像画像間で、同一物体の画像部分のオプティカルフローを算出する変位状況算出部２７、及び、赤外線カメラ１１による時系列の撮像画像間で、同一物体の大きさの変化率を算出する推定距離算出部２８として機能する。
【００３９】
物体距離検出部２１は、所定の制御サイクル毎に、検出範囲内をレーダ装置１２により走査して検出範囲内に存在する物体を検出して、物体と車両１間の距離を検出する。画像部分検出部２２は、物体距離検出部２１による物体の検出位置を赤外線カメラ１１の撮像画像に投影して、この物体の画像部分の検出範囲を設定し、この検出範囲内でこの物体の画像部分を検出する。
【００４０】
実空間位置算出部２３は、画像部分検出部２２により検出された画像部分の位置（座標）を、物体距離検出部２１により検出された距離に基づいて実空間位置に座標変換することで、画像部分が検出された物体の実空間位置を算出する。
【００４１】
なお、このように、撮像画像における画像部分の位置を、物体と車両１との距離に基づいて実空間位置に変換する処理の詳細については、上述した特開平９−２６４９５４号公報に記載されているので、ここでは説明を省略する。
【００４２】
車両周辺監視装置１０は、実空間位置算出部２３により実空間位置が算出された物体と車両１との接触可能性を判断する。なお、車両１と物体との接触可能性の判断処理については、例えば、特開２００１−６０９６号公報に記載されているように、検出された物体の移動ベクトルが、車両前方に設定された進入判定領域から接近判定領域に進む（物体が車両１に接近する）と判定されたときに、この物体（接近物体）と車両１が接触する可能性があると判定する。
【００４３】
この物体と車両１が接触する可能性があると判定した場合に、車両周辺監視装置１０は、接触回避処理を実行する。具体的には、車両周辺監視装置１０は、ブレーキセンサ１５の検出信号により、運転者がブレーキ操作をしているか否かを判断する。そして、ブレーキ操作をしていないときは、直ちに、音声出力装置１６及び画像出力装置１７による警報を出力する。
【００４４】
一方、運転者がブレーキ操作をしているときは、車両周辺監視装置１０は、このブレーキ操作に応じた制動装置１８の作動により、接触が回避されるか否かを判断する。そして、回避されると判断したときには、警報を出力しないようにして、運転者に余計な煩わしさを与えないようにする。
【００４５】
また、回避されると判断しなかったときには、車両周辺監視装置１０は、音声出力装置１６及び画像出力装置１７による警報を出力する。さらに、車両周辺監視装置１０は、必要に応じて接触が回避されるように制動装置１８を作動させる。
【００４６】
次に、実空間位置信頼性判定部２４は、以下の第１条件〜第５条件のうちの少なくとも一つが成立したときに、前記物体距離検出部２１により検出された物体と車両１間の距離に基づく、実空間位置算出部２３による物体の実空間位置の算出を禁止する処理を行う。以下、図４〜図１０を参照して、この処理について説明する。なお、このように、実空間位置算出部２３による物体の実空間位置の算出を禁止する処理は、実空間位置算出部２３により算出される物体の実空間位置の信頼性を下げることに相当する。
【００４７】
［第１条件］格子フェンスの検出による条件
図４（ａ）に示したように、車両１と物体６０（広告板等）との間に格子フェンス５０（金網フェンス等）が介在しているときに、レーダ装置１２は、手前に存在する格子フェンス５０を検出する。しかし、格子フェンス５０の背後に存在する物体６０については、レーダ装置１２により検出されない場合がある。
【００４８】
そしてこの場合には、画像部分６０ａが検出された物体６０と車両１間の距離が、図４（ａ）に示したように、真の距離である４０ｍではなく、格子フェンス５０との距離２０ｍであると誤って検出されてしまう。
【００４９】
そこで、実空間位置信頼性判定部２４は、半透過物体検出部２５により格子フェンス５０が検出されたときに、車両１からみたときに格子フェンス５０と重なる物体６０については、実空間位置算出部２３による、物体距離検出部２１により検出された物体６０と車両１間の距離（２０ｍ）に基づく実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（２０ｍ）に基づく、不適切な実空間位置の算出が行われることを防止する。
【００５０】
なお、物体６０の実空間位置が、車両１から２０ｍの位置に誤って算出されると、物体６０の画像部分６０ａの大きさが、車両１から２０ｍ離れた歩行者を想定した大きさに近くなる場合がある。そして、この場合には、車両周辺監視装置１による接触回避処理が実行されて、運転者に違和感や不安感を抱かせるおそれがあるが、上記第１条件により、不適切な実空間位置の算出が行われることを防止することによって、このような違和感や不安感を抱かせることを防止することができる。
【００５１】
また、半透過物体検出部２５は、図５に示したように、赤外線カメラ１１の撮像画像Ｉm2から、格子パターンを有する画像部分５０ｂを、金網フェンスの画像部分として検出する。
【００５２】
なお、レーダ装置１２から出力される測距データによる反射強度の分布が、上端と下端部で強く、中間部で弱い物体について、格子フェンスであると検出するようにしてもよい。
【００５３】
また、図６に示したように、赤外線カメラ１１による撮像データ、又はレーダ装置１２から出力される測距データにより、横方向（Ｘ軸方向）の幅が所定値（歩行者の幅よりも大きい値に設定される）以上である物体５０が検出されたときに、物体５０が格子フェンスであると検出するようにしてもよい。
【００５４】
［第２条件］画像部分のぼけ度合による条件
図７を参照して、赤外線カメラ１１の撮像画像Ｉm3における物体５０の撮像画像５０ｃのぼけ度合は、物体５０と車両１間の距離が長くなるほど大きくなる。そこで、ぼけ度合算出部２６は、画像部分検出部２２により検出された物体の画像部分について、ぼけ度合を算出する。なお、ぼけ度合は、画像部分の輝度分布等に基づいて算出される。
【００５５】
そして、実空間位置信頼性判定部２３は、物体距離検出部２１により検出された物体と車両１間の距離と、ぼけ度合算出部２６により算出されたぼけ度合との対応関係が、予め設定された距離−ぼけ度合の基準値（距離○○ｍ−ぼけ度合△△％のように設定される）から第１所定レベル以上乖離したときに、実空間位置算出部２３による、この物体の実空間位置の算出を禁止する。
【００５６】
これにより、物体６０と車両１間の誤った検出距離（２０ｍ）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００５７】
［第３条件］オプティカルフローによる条件
変位状況算出部２７は、赤外線カメラ１１により制御サイクル毎に撮像された時系列画像間で、同一物体の画像部分のオプティカルフロー（本発明の変位状況に相当する）を算出する。なお、時系列の各撮像画像からの同一物体の画像部分の抽出処理については、例えば、特開２００１−６０９６号公報に記載された同一性判定の処理を用いて行われる。
【００５８】
図８（ａ）に示したように、車両１の赤外線カメラ１１及びレーダ装置１２と物体６０との間に、格子フェンス５０（金網フェンス等）が介在している状態で、赤外線カメラ１１の時系列の撮像画像間における画像部分のオプティカルフローを算出すると、図８（ｂ）のＶ1に示したようになる。
【００５９】
図８（ｂ）のＶ2は、物体距離検出部２１により検出された距離と車両１間の距離と、速度センサ１４により検出された車両１の走行速度とに基づいて算出された推定オプティカルフロー（本発明の推定変位状況に相当する）を示している。
【００６０】
ここで、物体距離検出部２１による検出距離が物体６０と車両１間の距離であるときには、Ｖ1とＶ2はほぼ等しくなる。それに対して、物体距離検出部２１による検出距離が格子フェンス５０と自車両１間の距離であるときには、Ｖ1がＶ2と異なるものとなる。
【００６１】
そこで、実空間位置信頼性判定部２４は、変位状況算出部２７により算出されたオプティカルフローＶ1が、推定オプティカルフローＶ2から第２所定レベル以上乖離したときに、実空間位置算出部２３による物体６０の実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（格子フェンス５０と車両１間の検出距離）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００６２】
［第４条件］画像部分の大きさの変化率による条件
推定距離算出部２８は、赤外線カメラ１１により制御サイクル毎に撮像された時系列画像間で、同一物体の画像部分の大きさの変化率を算出する。なお、時系列の各撮像画像からの同一物体の画像部分の抽出処理については、例えば、特開２００１−６０９６号公報に記載された同一性判定の処理を用いて行われる。
【００６３】
図９（ａ），図９（ｂ）は、図８（ａ）に示したように、車両１の赤外線カメラ１１及びレーダ装置１２と物体６０との間に、格子フェンス５０（金網フェンス等）が介在している状態で、時刻ｔ1で撮像された画像Ｉm5と時刻ｔ2（ｔ2＝ｔ1＋Δｔ）で撮像された画像Ｉm6を示している。
【００６４】
この場合、推定距離算出部２８は、Ｉm6における物体６０の画像部分６０ｆの高さｈ2を、Ｉm5における物体６０の画像部分６０ｅの高さｈ1で除して、物体６０の画像部分の大きさの変化率（＝ｈ2／ｈ1）を算出する。
【００６５】
そして、実空間位置信頼性判定部２４は、物体６０の画像部分の大きさの変化率と、速度センサ１４により検出された車両１の走行速度とに基づいて、物体６０と車両１間の距離を推定する。
【００６６】
ここで、物体距離検出部２１による検出距離が物体６０と車両１間の距離であるときには、この検出距離は上記推定距離とほぼ等しくなる。それに対して、物体距離検出部２１による検出距離が格子フェンス５０と自車両１間の距離であるときには、この検出距離は上記推定距離と異なるものとなる。
【００６７】
そこで、実空間位置信頼性判定部２４は、物体距離検出部２１による検出距離が、推定距離算出部２８により算出された物体６０と車両１間の推定距離から第３所定レベル以上乖離したときに、実空間位置算出部２３による物体６０の実空間位置の算出を禁止する。これにより、物体６０と車両１間の誤った検出距離（格子フェンス５０と車両１間の検出距離）に基づく、不適切な実空間位置の算出が行われることを防止している。
【００６８】
［第５条件］ナビゲーション装置の情報による条件
実空間位置信頼性判定部２４は、画像部分検出部２２により画像部分が検出された物体が歩行者であると識別したときに、図１０に示したように、ナビゲーション装置１９からのデータにより得られる地図データＭａ上の車両１の位置７１と、物体距離検出部２１により検出された歩行者と車両１間の距離に基づく、地図データＭａ上の歩行者の位置７２を算出する。
【００６９】
そして、地図データＭａ上の歩行者の位置７２が道路から外れているときに、実空間位置信頼性判定部２４は、実空間位置算出部２３による歩行者の実空間位置の算出を禁止する。これにより、歩行者と車両１間の誤った検出距離に基づく、不適切な実空間位置の算出が行われることを防止している。
【００７０】
なお、本実施形態では、実空間位置信頼性判定部２４は、上記第１条件〜第５条件の成否を判断して、実空間位置算出部２３により、誤った検出距離に基づく実空間位置の算出が行われることを防止したが、必ずしも全ての条件を判断する必要はなく、少なくとも上記第１条件の成否を判断することにより、本発明の効果を得ることができる。
【００７１】
また、本実施形態では、実空間位置信頼性判定部２４は、上記第１条件〜第５条件の成否を判断して、実空間位置算出部２３による物体の実空間位置の算出を禁止したが、判断結果に応じて実空位置算出部２３により算出される物体の実空間位置の信頼性を下げるようにしてもよい。そして、信頼性の程度に応じて、実空間位置算出部２３により算出される物体の実空間位置を採用するか否かを決定するようにしてもよい。
【００７２】
また、本実施の形態では、レーダ装置１２から出力されるビームを遮蔽すると共に、赤外線カメラ１１により撮像されたときに背後の他物体が撮像される半透過物体として、格子フェンスを検出する例を示したが、他の種類の半透過物体についても本発明の適用が可能である。
【符号の説明】
【００７３】
１…車両（自車両）、１０…車両周辺監視装置、１１…赤外線カメラ、１２…レーダ装置、１６…音声出力装置、１７…画像出力装置、１８…制動装置、１９…ナビゲーション装置、２１…物体距離検出部、２２…画像部分検出部、２３…実空間位置算出部、２４…実空間位置信頼性判定部、２５…半透過物体検出部、２６…ぼけ度合算出部、２７…変位状況算出部、２８…推定距離算出部、５０…格子フェンス（半透過物体）。
【特許請求の範囲】
【請求項１】
車両に搭載されたレーダ装置により前記車両周辺の検出範囲を走査することによって、該検出範囲内に存在する物体を検出して、該物体と前記車両間の距離を検出する物体距離検出部と、
前記物体距離検出部により検出された物体を、前記車両に搭載されたカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部と、
前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出する実空間位置算出部と
を備えた車両周辺監視装置において、
前記検出範囲内に存在し、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体を検出する半透過物体検出部と、
前記カメラの撮像方向で、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる実空間位置信頼性判定部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記画像部分検出部により検出された画像部分のぼけ度合を算出するぼけ度合算出部を備え、
前記実空間位置信頼性判定部は、前記画像部分検出部により画像部分が検出された物体について、前記ぼけ度合算出部により算出された該画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２に記載の車両周辺監視装置において、
前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の変位状況を算出する変位状況算出部を備え、
前記実空間位置信頼性判定部は、前記変位状況算出部により算出された前記変位状況が、前記同一物体について前記物体距離検出部により検出された前記車両との距離の変化と、前記車両の走行速度とに基づいて算出した推定変位状況から、第２所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項４】
請求項１から請求項３のうちいずれか１項に記載の車両周辺監視装置において、
前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の大きさの変化率を算出し、該変化率と前記車両の走行速度とに基づいて、該同一物体と前記車両間の推定距離を算出する推定距離算出部を備え、
前記実空間位置信頼性判定部は、前記同一物体について前記物体距離検出部により検出された前記車両との距離が、前記推定距離算出部により算出された前記推定距離から、第３所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項５】
請求項１から請求項４のうちいずれか１項に記載の車両周辺監視装置において、
前記車両に搭載されたナビゲーション装置により、前記車両の地図上の位置を算出する自車両位置算出部を備え、
前記実空間位置信頼性判定部は、前記画像部分検出部により歩行者の画像部分が検出され、前記自車両位置算出部により算出された前記車両の地図上の位置と、前記物体距離検出部により検出された距離とに基づいて認識した地図上の該歩行者の位置が、道路から外れているときに、前記実空間位置算出部による該歩行者の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項６】
請求項１から請求項５のうちいずれか１項に記載の車両周辺監視装置において、
前記半透過物体検出部は、前記半透過物体として格子フェンスを検出することを特徴とする車両周辺監視装置。
【請求項７】
請求項６に記載の車両周辺監視装置において、
前記半透過物体検出部は、前記レーダ装置の測距データから算出される物体の幅が、所定値以上であるときに、該物体が格子フェンスであると検出することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載されたレーダ装置により前記車両周辺の検出範囲を走査することによって、該検出範囲内に存在する物体を検出して、該物体と前記車両間の距離を検出する物体距離検出部と、
前記物体距離検出部により検出された物体を、前記車両に搭載されたカメラの撮像画像に投影して、該物体の画像部分を検出する画像部分検出部と、
前記物体距離検出部による検出距離に基づいて、前記画像部分検出部により画像部分が検出された物体の実空間位置を算出する実空間位置算出部と
を備えた車両周辺監視装置において、
前記検出範囲内に存在し、前記レーダ装置から出力されるビームを遮蔽すると共に、前記カメラにより撮像されたときに背後の他物体が撮像される半透過物体を検出する半透過物体検出部と、
前記カメラの撮像方向で、前記半透過物体検出部により検出された半透過物体と重なる位置に存在する物体については、前記実空間位置算出部により算出される実空間位置の信頼性を下げる実空間位置信頼性判定部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記画像部分検出部により検出された画像部分のぼけ度合を算出するぼけ度合算出部を備え、
前記実空間位置信頼性判定部は、前記画像部分検出部により画像部分が検出された物体について、前記ぼけ度合算出部により算出された該画像部分のぼけ度合と、前記物体距離検出部により検出された該物体と前記車両間の距離との関係が、予め設定されたぼけ度合と距離との基準関係から第１所定レベル以上乖離したときに、前記実空間位置算出部による該物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２に記載の車両周辺監視装置において、
前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の変位状況を算出する変位状況算出部を備え、
前記実空間位置信頼性判定部は、前記変位状況算出部により算出された前記変位状況が、前記同一物体について前記物体距離検出部により検出された前記車両との距離の変化と、前記車両の走行速度とに基づいて算出した推定変位状況から、第２所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項４】
請求項１から請求項３のうちいずれか１項に記載の車両周辺監視装置において、
前記カメラによる時系列の撮像画像から、前記画像部分検出部により検出された同一物体の画像部分の大きさの変化率を算出し、該変化率と前記車両の走行速度とに基づいて、該同一物体と前記車両間の推定距離を算出する推定距離算出部を備え、
前記実空間位置信頼性判定部は、前記同一物体について前記物体距離検出部により検出された前記車両との距離が、前記推定距離算出部により算出された前記推定距離から、第３所定レベル以上乖離したときに、前記実空間位置算出部による該同一物体の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項５】
請求項１から請求項４のうちいずれか１項に記載の車両周辺監視装置において、
前記車両に搭載されたナビゲーション装置により、前記車両の地図上の位置を算出する自車両位置算出部を備え、
前記実空間位置信頼性判定部は、前記画像部分検出部により歩行者の画像部分が検出され、前記自車両位置算出部により算出された前記車両の地図上の位置と、前記物体距離検出部により検出された距離とに基づいて認識した地図上の該歩行者の位置が、道路から外れているときに、前記実空間位置算出部による該歩行者の実空間位置の算出を禁止することを特徴とする車両周辺監視装置。
【請求項６】
請求項１から請求項５のうちいずれか１項に記載の車両周辺監視装置において、
前記半透過物体検出部は、前記半透過物体として格子フェンスを検出することを特徴とする車両周辺監視装置。
【請求項７】
請求項６に記載の車両周辺監視装置において、
前記半透過物体検出部は、前記レーダ装置の測距データから算出される物体の幅が、所定値以上であるときに、該物体が格子フェンスであると検出することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２０２９５（Ｐ２０１３−２０２９５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５０７０８（Ｐ２０１１−１５０７０８）
【出願日】平成２３年７月７日（２０１１．７．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月７日（２０１１．７．７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]