車両周辺障害物検出装置
【課題】障害物を検出する各センサにおいて、障害物検出処理が困難な環境条件に対して適合的に調整を行い、安定性の高い障害物の検出を実現する。
【解決手段】処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサ１０１と、処理パラメータを参照して、センサ出力値に基づいて障害物の情報を検出する超音波信号処理部１０２と、処理パラメータを参照して、障害物の映像を撮影するカメラ１０３と、処理パラメータを参照して、撮影された映像に基づいて障害物の情報を検出する映像処理部１０４と、超音波信号処理部１０２により検出された障害物の情報と映像処理部１０４により検出された障害物の情報とを統合して映像を生成する障害物統合検出部１０５と、生成された映像を表示する表示装置１０６と、障害物の情報に基づいて、処理パラメータを調整するパラメータ調整部１０９とを備えた。
【解決手段】処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサ１０１と、処理パラメータを参照して、センサ出力値に基づいて障害物の情報を検出する超音波信号処理部１０２と、処理パラメータを参照して、障害物の映像を撮影するカメラ１０３と、処理パラメータを参照して、撮影された映像に基づいて障害物の情報を検出する映像処理部１０４と、超音波信号処理部１０２により検出された障害物の情報と映像処理部１０４により検出された障害物の情報とを統合して映像を生成する障害物統合検出部１０５と、生成された映像を表示する表示装置１０６と、障害物の情報に基づいて、処理パラメータを調整するパラメータ調整部１０９とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、超音波センサおよびカメラの２種類のセンサを備えた車両に関し、両センサによる障害物検出処理結果に基づいて、各センサの障害物検出処理に用いる処理パラメータを自動調整する車両周辺障害物検出装置に関するものである。
【背景技術】
【０００２】
車両周辺の障害物を自動的に検出する手段として、カメラにより撮影した映像を用いて障害物を検出する手段が存在する。しかし、カメラを用いた障害物の検出処理では、逆光や夜間等の影響により誤検出や検出漏れが生じる。そのため、逆行や夜間などの影響を受けない超音波センサを用いた障害物検出処理とカメラを用いた障害物検出処理を併用した車両周辺障害物検出装置が報告されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示される車両周辺障害物検出装置では、駐車場に車両を停止するためギアをバックに入れた際に、後方の映像を撮影するＣＣＤカメラと、同時に後方を超音波によりセンシングする超音波センサとが車両後方に設置されている。
【０００４】
このＣＣＤカメラにより撮影された映像は画像障害物検出部に送られ、この映像を画像処理して障害物を検出する。また、超音波センサによる出力結果は超音波障害物検出部に送られ、この出力結果を処理することで障害物を検出する。
【０００５】
この画像障害物検出部および超音波障害物検出部による障害物の検出結果は画像処理・制御部に送られる。この画像処理・制御部では、少なくともどちらか一方の手段で障害物が検出された場合、ＣＣＤカメラにより撮影された映像上に検出された障害物の箇所を特定できるマークを重畳表示した映像を作成する。この画像処理・制御部により作成された映像はモニタに表示され、運転者に車両後方の障害物に関する警告を与える。
また、画像処理・制御部は、検出した障害物を拡大表示するようＣＣＤカメラを制御して、その拡大映像をモニタに表示することも可能である。これにより運転者は障害物の内容を目視で確認することができる。
【０００６】
上記のように特許文献１に開示される車両周辺障害物検出装置では、画像障害物検出部と超音波障害物検出部のどちらか一方で障害物が検出された場合に、これを運転者に提示する。そのため、ＣＣＤカメラを用いた障害物検出処理が困難である逆行や夜間の状態においても、障害物の検出漏れを抑制することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２９３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示される車両周辺障害物検出装置では、ＣＣＤカメラを用いた障害物検出処理が困難である逆光や夜間などの悪条件に対処するため、特性の異なる超音波センサを併用することにより、障害物の検出漏れを救済する方式が述べられている。しかしながら、超音波センサにおいても、障害物検出処理が困難である環境が存在する。
【０００９】
例えば、超音波センサでは、強い雪などの悪天候時に超音波が空気中で乱反射するため障害物の検出が困難となる。その他にも、豪雨／濃霧／高温時／極寒時／傾斜した路面／フェンス／金網などの環境では検出漏れや検出誤りが発生することが知られている。
【００１０】
このため、ＣＣＤカメラと超音波センサを単純に併用しても、障害物検出処理が困難な状態が存在するという課題がある。
また、各センサによる障害物検出処理自体は、特に処理内容が変更されるわけではなく、例えば悪条件に適応させることで、障害物検出処理の精度を向上させるものではない。
【００１１】
この発明は、上記のような課題を解決するためになされたもので、障害物を検出する各センサにおいて、障害物検出処理が困難な環境条件に対して適合的に調整が行われ、安定性の高い障害物の検出を実現することができる車両周辺障害物検出装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
この発明に係る車両周辺障害物検出装置は、超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサと、超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波センサによるセンサ出力値に基づいて障害物の情報を検出する超音波信号処理部と、カメラパラメータテーブルに記載された処理パラメータを参照して、障害物の映像を撮影するカメラと、カメラパラメータテーブルに記載された処理パラメータを参照して、カメラにより撮影された映像に基づいて障害物の情報を検出する映像処理部と、超音波信号処理部により検出された障害物の情報と映像処理部により検出された障害物の情報とを統合して映像を生成する障害物統合検出部と、障害物統合検出部により生成された映像を表示する表示装置と、超音波信号処理部および映像処理部により検出された障害物の情報に基づいて、超音波センサパラメータテーブルまたはカメラパラメータテーブルに記載された処理パラメータを調整するパラメータ調整部とを備えたものである。
【発明の効果】
【００１３】
この発明によれば、上記のように構成したので、超音波センサとカメラを用いた両方の障害物検出結果を基に、超音波センサやカメラ、および後段の超音波信号処理部や映像処理部の処理パラメータを自動調整することで、障害物を検出する各センサにおいて、障害物検出が困難な環境条件に対して適合的に調整が行われ、安定性の高い障害物の検出を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１に係る車両周辺障害物検出装置の構成を示すブロック図である。
【図２】この発明の実施の形態１における超音波センサとカメラの車両への取り付け例を示す図である。
【図３】この発明の実施の形態１に係る車両周辺障害物検出装置の動作を示すフローチャートである。
【図４】この発明の実施の形態１における良好な条件下での障害物検出結果例を示す図である。
【図５】この発明の実施の形態１における雪が降っている場合のパラメータ調整前の障害物検出結果例を示す図である。
【図６】この発明の実施の形態１における雪が降っている場合のパラメータ調整後の障害物検出結果例を示す図である。
【図７】この発明の実施の形態１における照明が暗い場合のパラメータ調整前の障害物検出結果例を示す図である。
【図８】この発明の実施の形態１における照明が暗い場合のパラメータ調整後の障害物検出結果例を示す図である。
【図９】この発明の実施の形態２におけるパラメータ調整前の障害物検出結果例を示す図である。
【図１０】この発明の実施の形態２におけるパラメータ調整後の障害物検出結果例を示す図である。
【図１１】この発明の実施の形態３における検出困難状況の障害物検出結果例を示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る車両周辺障害物検出装置の構成を示すブロック図である。
車両周辺障害物検出装置は、図１に示すように、超音波センサ１０１、超音波信号処理部１０２、カメラ１０３、映像処理部１０４、障害物統合検出部１０５、表示装置１０６、超音波センサパラメータテーブル１０７、カメラパラメータテーブル１０８およびパラメータ調整部１０９から構成される。
【００１６】
超音波センサ１０１は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波により障害物のセンシングを行うものである。図２では、４個の超音波センサ１０１を車両後方に取り付けた場合を示し、各超音波センサ１０１のセンシング領域２０１を示している。この超音波センサ１０１では、超音波を出射して、障害物からの反射波を入射する。
この超音波センサ１０１によるセンサ出力値（反射波の強度）を示すセンサ出力情報は超音波信号処理部１０２に送られる。
【００１７】
超音波信号処理部１０２は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波センサ１０１によるセンサ出力値に基づいて障害物の有無を検出するものである。
また、超音波信号処理部１０２は、障害物を検出した際には、この超音波センサ１０１のセンシング領域２０１および測定した障害物までの距離に基づいて、この障害物の領域を特定する。この超音波信号処理部１０２により特定された障害物の領域を示す障害物情報は障害物統合検出部１０５に送られる。
【００１８】
カメラ１０３は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、障害物の映像を撮影するものである。図２では、１個のカメラ１０３が車両後方に取り付けられた場合を示し、このカメラの視野領域２０２を示している。
このカメラ１０３により撮影された映像は映像処理部１０４および障害物統合検出部１０５に送られる。
【００１９】
映像処理部１０４は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、カメラ１０３による映像を解析して障害物の有無を検出するものである。
また、映像処理部１０４は、障害物を検出した際には、障害物の領域を特定する。この映像処理部１０４により特定された障害物の領域を示す障害物情報は障害物統合検出部１０５に送られる。
【００２０】
障害物統合検出部１０５は、超音波信号処理部１０２と映像処理部１０４による障害物情報を統合して、この障害物の領域を特定するマークをカメラ１０３により撮影された映像上に重畳表示した映像を生成するものである。この障害物統合検出部１０５により生成された映像は表示装置１０６に送られる。また、障害物統合検出部１０５に送られた障害物情報はパラメータ調整部１０９に送られる。
表示装置１０６は、障害物統合検出部１０５により生成された映像を表示するものである。
【００２１】
超音波センサパラメータテーブル１０７は、超音波センサ１０１や超音波信号処理部１０２が処理を行う際に参照する処理パラメータを保持するものである。この超音波センサパラメータテーブル１０７には、例えば、超音波信号処理部１０２において障害物検出を行う際に用いる判定閾値や、超音波センサ１０１のセンシング領域２０１の形状を決める制御パラメータの値が記載されている。
【００２２】
カメラパラメータテーブル１０８は、カメラ１０３や映像処理部１０４が処理を行う際に参照する処理パラメータを保持するものである。カメラパラメータテーブル１０８には、例えば、カメラ１０３の感度や、映像処理部１０４において障害物検出を行う際に用いる画像処理に関するパラメータ類（エッジ抽出処理のパラメータや、２値化処理の閾値等）が記載されている。
【００２３】
パラメータ調整部１０９は、障害物統合検出部１０５に送られた各センサによる障害物情報に基づいて、超音波センサパラメータテーブル１０７とカメラパラメータテーブル１０８に記載された処理パラメータを調整するものである。
【００２４】
次に、上記のように構成された車両周辺障害物検出装置の動作について説明する。
図３はこの発明の実施の形態１に係る車両周辺障害物検出装置の動作を示すフローチャートである。また、図４はこの発明の実施の形態１において良好な条件下での障害物検出結果例を示す図である。
図４において、符号４０１はカメラ１０３で撮影した映像、符号４０２は超音波センサ１０１のセンサ出力値、符号４０３は判定閾値、符号４０４は超音波センサ１０１による障害物の領域、符号４０５はカメラ１０３による障害物の領域を示している。
【００２５】
車両周辺障害物装置の動作では、図３に示すように、車両がバックして駐車を行う際に、超音波センサ１０１は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波により車両後方の障害物をセンシングする（ステップＳＴ３１）。ここで、図４に示すように、超音波センサ１０１のセンシング領域２０１に障害物が存在する場合にはセンサ出力値（反射波の強度）４０２は高くなる。この超音波センサ１０１によるセンサ出力値を示すセンサ出力情報は超音波信号処理部１０２に送られる。
【００２６】
次いで、超音波信号処理部１０２は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波センサ１０１によるセンサ出力値に基づいて障害物の有無を検出する（ステップＳＴ３２）。ここで、図４に示すように、超音波信号処理部１０２では、超音波センサ１０１によるセンサ出力値４０２が判定閾値４０３を超えた場合には、その超音波センサ１０１のセンシング方向に障害物が存在していると判定する。
【００２７】
このステップＳＴ３２において、超音波信号処理部１０２は、障害物が存在していると判定した場合には、次いで、その障害物の領域を特定する（ステップＳＴ３３）。ここで、図４に示すように、例えば、中央２つの超音波センサ１０１のセンサ出力値４０２が判定閾値４０３を超えている場合には、これらのセンシング領域２０１上に障害物があることが分かる。また、超音波センサ１０１では、障害物までの距離を測定することができる。そのため、超音波信号処理部１０２は、この障害物までの距離と障害物が検出された超音波センサ１０１のセンシング領域２０１の大きさを基に、障害物の領域４０４を特定することができる。
この超音波信号処理部１０２により特定された障害物の領域４０４を示す障害物情報は障害物統合検出部１０５に送られる。
【００２８】
一方、カメラ１０３は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、車両後方の障害物の映像を撮影する（ステップＳＴ３４）。このカメラ１０３により撮影された映像は映像処理部１０４および障害物統合検出部１０５に送られる。
【００２９】
次いで、映像処理部１０４は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、カメラ１０３による映像を解析して障害物の有無を検出する（ステップＳＴ３５）。なお、この映像処理部１０４では、例えば、背景映像と現在の映像との差分をとる等の既存手法を用いることで、映像中に存在する障害物を検出する。
【００３０】
このステップＳＴ３５において、映像処理部１０４は、障害物が存在していると判定した場合には、次いで、その障害物の領域を特定する（ステップＳＴ３６）。ここで、図４に示すように、映像処理部１０４は、映像を画像処理することによって、障害物の領域４０５を特定する。この映像処理部１０４により特定された障害物の領域４０５を示す障害物情報は障害物統合検出部１０５に送られる。
【００３１】
次いで、障害物統合検出部１０５は、超音波信号処理部１０２と映像処理部１０４による障害物情報を統合して、この障害物の領域を特定するマークをカメラ１０３により撮影された映像上に重畳表示して映像を生成する（ステップＳＴ３７）。ここで、障害物統合検出部１０５は、図４に示すように、カメラ１０３により撮影された映像上の、超音波信号処理部１０２により特定された障害物の領域４０４を実線で囲み、映像処理部１０４により特定された障害物の領域４０５を点線で囲むことによって、障害物の領域をマークした映像４０１を生成する。
この障害物統合検出部１０５により生成された映像４０１は、表示装置１０６に送られて表示されることによって、運転者に提示される。
また、障害物統合検出部１０５に送られた超音波信号処理部１０２および映像処理部１０４による障害物情報はパラメータ調整部１０９に送られる。
【００３２】
次いで、パラメータ調整部１０９は、障害物統合検出部１０５から送られた各センサによる障害物情報に基づいて、超音波センサパラメータテーブル１０７とカメラパラメータテーブル１０８に記載された処理パラメータを調整する（ステップＳＴ３８）。
以下では、このパラメータ調整部１０９によるパラメータ調整について説明する。
【００３３】
まず、超音波信号処理部１０２による障害物検出処理が困難な条件下でのパラメータ調整部１０９によるパラメータ調整について説明する。
図５はこの発明の実施の形態１における雪が降っている場合のパラメータ調整前の障害物検出結果例を示す図である。また、図６はこの発明の実施の形態１における雪が降っている場合のパラメータ調整後の障害物検出結果例を示す図である。
図５において、符号５０１はカメラ１０３で撮影した映像、符号５０２は超音波センサ１０１のセンサ出力値、符号５０３は判定閾値、符号５０４は映像処理部１０４による障害物の領域を示している。
図６において、符号６０１はカメラ１０３で撮影した映像、符号６０２は超音波センサ１０１のセンサ出力値、符号６０３は判定閾値、符号６０４は超音波信号処理部１０２による障害物の領域、符号６０５は映像処理部１０４による障害物の領域を示している。
【００３４】
図５に示すように、強い雪が降っている悪天候下の場合、映像処理部１０４による障害物検出処理では、カメラ１０３により撮影された映像中に障害物が映っていれば、画像処理的な手法により障害物の領域５０４を特定することができる。
一方、超音波信号処理部１０２による障害物検出処理では、超音波が雪で乱反射するため反射波の強度５０２が弱まり、判定閾値５０３を超えなくなる。そのため、超音波センサ１０１では障害物を検出することができない。
【００３５】
この場合、どちらか一方の手段により障害物が検出できれば運転者に警告することは可能である。しかしながら、このまま雪の降る悪天候下を移動して暗い場所に入った場合には、カメラ１０３でも障害物を検出することができなくなるため、障害物が全く検出できなくなる恐れがある。
【００３６】
このように、映像処理部１０４からは障害物が検出されているが超音波信号処理部１０２からは障害物が検出されない場合、パラメータ調整部１０９は、超音波センサパラメータテーブル１０７の内容を更新する。これにより、超音波信号処理部１０２による障害物検出処理を悪条件下でも行えるように自動適合させる。
【００３７】
例えば、図６に示すように、パラメータ調整部１０９は超音波センサパラメータテーブル１０７内の判定閾値６０３の値を低くする。これにより超音波センサ１０１によるセンサ出力値６０２が判定閾値６０３を超えることができる。そのため、超音波信号処理部１０２は障害物の領域６０４を特定することができる。
【００３８】
その結果、図６に示すように、カメラ１０３により撮影された映像６０１上に、超音波信号処理部１０２による障害物の領域６０４と映像処理部１０４による障害物の領域６０５を強調表示した映像を運転者に提示することができる。
以降の運転中は、この処理パラメータの値を利用することで雪の降る悪天候下を移動して暗い場所に入った場合でも、障害物が検出可能となる。
【００３９】
次に、映像処理部１０４による障害物検出が困難な条件下でのパラメータ調整部１０９によるパラメータ調整について説明する。
図７はこの発明の実施の形態１における照明が暗い場合のパラメータ調整前の障害物検出結果例を示す図である。また、図８はこの発明の実施の形態１における照明が暗い場合のパラメータ調整後の障害物検出結果例を示す図である。
図７において、符号７０１はカメラ１０３で撮影した映像、符号７０２は超音波センサ１０１のセンサ出力値、符号７０３は判定閾値、符号７０４は超音波信号処理部１０２による障害物の領域を示している。
図８において、符号８０１はカメラ１０３で撮影した映像、符号８０２は超音波信号処理部１０２による障害物の領域、符号８０３は映像処理部１０４による障害物の領域を示している。
【００４０】
図７に示すように、夕暮れ時の暗い環境下の場合、超音波信号処理部１０２による障害物検出処理では、超音波は影響をうけることはないため、障害物が存在する場合には超音波センサ１０１によるセンサ出力値７０２が判定閾値７０３を超える。これにより、超音波信号処理部１０２は、障害物の領域７０４を特定することができる。
一方、映像処理部１０４による障害物検出処理では、カメラ１０３により撮影された映像が暗くて障害物と背景の分離が困難となるため、障害物を検出できない。
【００４１】
この場合、どちらか一方の手段により障害物が検出できれば運転者に警告することは可能である。しかしながら、この暗い環境下を走行して超音波センサ１０１が正しく動作しない状況（近くの駐車場や踏み切りに別の超音波センサが存在する等）に出くわした場合には、超音波センサ１０１でも障害物を検出することができなくなるため、障害物が全く検出できなくなる恐れがある。
【００４２】
このように、超音波信号処理部１０２からは障害物が検出されているが映像処理部１０４からは障害物が検出されない場合、パラメータ調整部１０９は、カメラパラメータテーブル１０８の内容を更新する。これにより、映像処理部１０４による障害物検出処理を悪条件下でも行えるように自動適合させる。
【００４３】
例えば、図８に示すように、パラメータ調整部１０９は、カメラパラメータテーブル１０８内のカメラ１０３の感度を高め、かつ障害物が検出しやすいようにエッジ抽出処理等のパラメータを修正する。これにより映像処理部１０４は、カメラ１０３により撮影された映像中から障害物の領域８０３を特定することができる。
【００４４】
その結果、図８に示すように、カメラ１０３により撮影された映像８０１上に、超音波信号処理部１０２による障害物の領域８０２と映像処理部１０４による障害物の領域８０３を強調表示した映像を運転者に提示することができる。
以降の運転中は、このパラメータの値を利用することで夕暮れ時の暗い環境下を移動して雪の降り出した場合でも、障害物が検出可能となる。
【００４５】
以上のように、この実施の形態１によれば、超音波信号処理部１０２と映像処理部１０４による障害物情報を基に、超音波センサ１０１やカメラ１０３、および超音波信号処理部１０２や映像処理部１０４のパラメータ値を自動調整するように構成したので、超音波信号処理部１０２または映像処理部１０４による障害物検出処理が困難である条件化に対しても、適合的に処理パラメータの調整が行うことができるため、安定性の高い障害物の検出を実現することができる。
【００４６】
なお、この実施の形態１におけるパラメータ調整部１０９では、超音波センサパラメータテーブル１０７内のパラメータ調整において、判定閾値を変更する場合について説明したが、これに限るものではなく、超音波センサ１０１の出力を上げたり、指向性を変える等の操作を行っても良い。
【００４７】
実施の形態２．
実施の形態１では、どちらか一方の障害物検出処理でのみ障害物が検出された場合のパラメータ調整について説明したが、実施の形態２では、検出された領域や個数等の情報を用いて自動的に処理パラメータを調整するものについて示す。
なお、この実施の形態２に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００４８】
また、実施の形態２に係る車両周辺障害物検出装置の動作は、パラメータ調整部１０９の内部処理を除き、図３に示す実施の形態１に係る車両周辺障害物検出装置の動作と同じである。以下では、パラメータ調整部１０９によるパラメータ調整について説明する。
【００４９】
ここで、パラメータ調整部１０９は、超音波信号処理部１０２による障害物領域と映像処理部１０４による障害物領域の重複度合いを示す評価値Ｄを計算し、その評価値Ｄが大きくなるようにパラメータ値を自動調整する。例えば、評価値Ｄとして下記に示す式（１）を用いる。
評価値Ｄ＝（Ａｒｅａ（超音波）∩Ａｒｅａ（カメラ））／（Ａｒｅａ（超音波）∪Ａｒｅａ（カメラ））＋ｆ（カメラから検出された障害物領域数，超音波で検出された障害物領域数） （１）
【００５０】
式（１）において、Ａｒｅａ（Ｘ）は、障害物検出処理部Ｘ（超音波信号処理部１０２または映像処理部１０４）により特定された障害物領域の映像上での領域を表す。また、（Ａｒｅａ（超音波）∩Ａｒｅａ（カメラ））は２つの領域が重なった部分の面積を示す。（Ａｒｅａ（超音波）∪Ａｒｅａ（カメラ））は２つの領域のカバーする領域（重ならない部分＋重なった部分）の面積を示す。またｆは評価関数であり、例えば映像処理部１０４により検出された障害物領域数と超音波信号処理部１０２により検出された障害物領域数に差異がある場合には小さい値を示し、同数である場合には大きい値を示す。これにより、超音波センサ１０１とカメラ１０３を用いた場合の障害物検出結果の一致性が低いほど、評価値Ｄの値は小さくなる。
【００５１】
次に、具体的な図を参照しながらパラメータ調整部１０９によるパラメータ調整について説明する。
図９はこの発明の実施の形態２におけるパラメータ調整前の障害物検出結果例を示す図である。また、図１０はこの発明の実施の形態２におけるパラメータ調整後の障害物検出結果例を示す図である。
図９において、符号９０１はカメラ１０３で撮影した映像、符号９０２は超音波センサ１０１のセンサ出力値、符号９０３は判定閾値、符号９０４は超音波信号処理部１０２による障害物の領域、符号９０５は映像処理部１０４による障害物の領域、符号９０６は両手段による障害物領域の重なり領域を示している。
図１０において、符号１００１はカメラ１０３で撮影した映像、符号１００２は超音波センサ１０１のセンサ出力値、符号１００３は判定閾値、符号１００４は超音波信号処理部１０２による障害物の領域、符号１００５は映像処理部１０４による障害物の領域、符号１００６は両手段による障害物領域の重なり領域を示している。
【００５２】
図９に示す場合では、超音波信号処理部１０２による障害物検出処理では、雪による超音波の乱反射の影響のため、一部の障害物のみ（人間）しか検出することができず、障害物の領域９０４が実際の障害物領域より小さく特定される。
一方、カメラ１０３による障害物検出では、暗い照明による影響のため、一部の障害物のみ（障害物の上部）しか検出することができず、障害物の領域９０５が実際の障害物領域より小さく特定される。
【００５３】
この場合、超音波信号処理部１０２と映像処理部１０４による２つの障害物領域にはずれが生じているため、重なり領域９０６の面積は小さくなる。そのため、パラメータ調整部１０９により算出された評価値Ｄは小さくなる。
【００５４】
このように、評価値Ｄが小さい場合、パラメータ調整部１０９は、この評価値Ｄが大きくなるように、超音波センサパラメータテーブル１０７およびカメラパラメータテーブル１０８の内容を更新する。
【００５５】
例えば、図１０に示すように、パラメータ調整部１０９は、超音波センサパラメータテーブル１０７内の判定閾値１００３を低くする。これにより超音波センサ１０１によるセンサ出力値１００２が判定閾値１００３を超えることができるため、超音波信号処理部１０２は障害物を適切に包含した領域１００４を特定することができる。
【００５６】
また、パラメータ調整部１０９は、カメラパラメータテーブル１０８内のカメラ１０３の感度を高め、かつ障害物が検出しやすいようにエッジ抽出処理等のパラメータを修正する。これにより映像処理部１０４は障害物を適切に包含した領域１００５を特定することができる。
【００５７】
この場合、超音波信号処理部１０２と映像処理部１０４による２つの障害物領域のずれが少なくなるため、重なり領域１００５の面積は大きくなる。そのため、パラメータ調整部１０９により算出された評価値Ｄは大きくなる。
【００５８】
以上のように、この実施の形態２によれば、検出された領域や個数等の情報を用いて評価値Ｄを定義し、この値が大きくなるように自動的に処理パラメータを調整するように構成したので、多様な悪条件下であっても適切にパラメータ調整を行うことが可能となる。
【００５９】
実施の形態３．
実施の形態１，２では、障害物情報を基に処理パラメータを自動調整して極力、障害物を検出することができるようにしたが、実施の形態３では、障害物が正しく検出できない状況（検出困難状況）であると判定した場合に、その旨を運転者に提示するものについて示す。
なお、この実施の形態３に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００６０】
図１１はこの発明の実施の形態３における検出困難状況の障害物検出結果例を示す図である。
図１１において、符号１１０１はカメラ１０３で撮影した映像、符号１１０２は超音波センサ１０１のセンサ出力値、符号１１０３は判定閾値、符号１１０４はフェンス示している。
【００６１】
例えば、図１１に示すように、車両がバックで駐車する際に障害物としてフェンス１１０４が存在する場合には、超音波センサ１０１による出射波はフェンス１１０４をすり抜けるために、その反射波の強度を示すセンサ出力値１１０２は全て低い値を示す。そのためセンサ出力値１１０２が判定閾値１１０３を超えず、超音波信号処理部１０２では障害物が検出されない。
【００６２】
そこで、映像処理部１０４は、実施の形態１，２で述べた障害物検出処理機能に加えて、カメラ１０３により撮影された映像中から、超音波信号処理部１０２による障害物検出処理が困難である特定パターン（フェンスや金網）を画像処理的に検出する機能を有している。フェンス１１０４等の直線からなる幾何学的な連続パターンは、画像処理的に検出し易く、直線が等間隔に並んでいるかを検定することにより、比較的安易に実現できる。この映像処理部１０４により特定のパターンが映像中から検出された場合には、その旨が障害物統合検出部１０５に送られる。
【００６３】
障害物統合検出部１０５は、実施の形態１，２で述べた映像生成処理機能に加えて、映像処理部１０４から超音波信号処理部１０２による障害物検出処理が困難である特定パターンが検出された旨が通知された場合に、超音波信号処理部１０２による障害物検出処理の動作が補償されない状況であることを運転者に対して表示装置１０６を介して絵や文字、音声等で通知する機能を有している。
【００６４】
同様に、映像処理部１０４は、カメラ１０３により撮影された映像中から、映像処理部１０４による障害物検出処理が困難である特定のパターン（画像中の輝度差が少ない、平均輝度値が標準範囲外）を検出する。この映像処理部１０４により特定のパターンが検出された場合には、その旨が障害物統合検出部１０５に送られる。
【００６５】
障害物統合検出部１０５は、映像処理部１０４から映像処理部１０４による障害物検出が困難である特定パターンが検出された旨が通知された場合に、映像処理部１０４による障害物検出の動作が補償されない状況であることを運転者に対して表示装置１０６を介して絵や文字、音声等で通知する。
【００６６】
以上のように、この実施の形態３によれば、超音波信号処理部１０２や映像処理部１０４による障害物検出処理が適切に動作しないと判断された状況が見つかった場合、その旨を運転者に対して警告するように構成したので、障害物検出処理の動作が保証されない環境においては、運転者の注意を促して安全に駐車を支援することが可能となる。
【００６７】
実施の形態４．
実施の形態３では、超音波信号処理部１０２や映像処理部１０４による障害物検出処理が適切に動作しないと判断された状況が見つかった場合、その旨を運転者に対して警告したが、実施の形態４では、実施の形態２に示した評価値Ｄを用いて、障害物検出処理が適切に動作しているか否かを判定するものについて示す。
なお、この実施の形態４に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００６８】
パラメータ調整部１０９により算出される評価値Ｄは、超音波信号処理部１０２や映像処理部１０４による障害物の領域が一致しない場合は、その値が小さくなる。従って、評価値Ｄが小さい場合は、何らかの環境要因により障害物検出処理の精度が低下している恐れがある。
【００６９】
そこで、パラメータ調整部１０９は、実施の形態１−３で述べた映像生成処理機能に加えて、評価値Ｄがある閾値よりも小さい場合には、超音波信号処理部１０２および映像処理部１０４による障害物検出処理のうち、少なくとも１つ以上の手段が適切に動作しないと判断し、その旨を障害物統合検出部１０５に通知する機能を有している。
このパラメータ調整部１０９からの通知を受けた障害物統合検出部１０５は、障害物検出処理の動作が保証されない状況であることを運転者に対して表示装置を介して絵や文字、音声等で通知する。
【００７０】
以上のように、この実施の形態４によれば、評価値Ｄの値が閾値より小さい場合には、超音波信号処理部１０２および映像処理部１０４による障害物検出処理のうち、少なくとも１つ以上の手段が適切に動作しない状況と判定して、その旨を運転者に対して警告するように構成したので、障害物検出処理の動作が保証されない環境においては、運転者の注意を促して安全に駐車を支援することが可能となる。
【符号の説明】
【００７１】
１０１ 超音波センサ、１０２ 超音波信号処理部、１０３ カメラ、１０４ 映像処理部、１０５ 障害物統合検出部、１０６ 表示装置、１０７ 超音波センサパラメータテーブル、１０８ カメラパラメータテーブル、１０９ パラメータ調整部。
【技術分野】
【０００１】
この発明は、例えば、超音波センサおよびカメラの２種類のセンサを備えた車両に関し、両センサによる障害物検出処理結果に基づいて、各センサの障害物検出処理に用いる処理パラメータを自動調整する車両周辺障害物検出装置に関するものである。
【背景技術】
【０００２】
車両周辺の障害物を自動的に検出する手段として、カメラにより撮影した映像を用いて障害物を検出する手段が存在する。しかし、カメラを用いた障害物の検出処理では、逆光や夜間等の影響により誤検出や検出漏れが生じる。そのため、逆行や夜間などの影響を受けない超音波センサを用いた障害物検出処理とカメラを用いた障害物検出処理を併用した車両周辺障害物検出装置が報告されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示される車両周辺障害物検出装置では、駐車場に車両を停止するためギアをバックに入れた際に、後方の映像を撮影するＣＣＤカメラと、同時に後方を超音波によりセンシングする超音波センサとが車両後方に設置されている。
【０００４】
このＣＣＤカメラにより撮影された映像は画像障害物検出部に送られ、この映像を画像処理して障害物を検出する。また、超音波センサによる出力結果は超音波障害物検出部に送られ、この出力結果を処理することで障害物を検出する。
【０００５】
この画像障害物検出部および超音波障害物検出部による障害物の検出結果は画像処理・制御部に送られる。この画像処理・制御部では、少なくともどちらか一方の手段で障害物が検出された場合、ＣＣＤカメラにより撮影された映像上に検出された障害物の箇所を特定できるマークを重畳表示した映像を作成する。この画像処理・制御部により作成された映像はモニタに表示され、運転者に車両後方の障害物に関する警告を与える。
また、画像処理・制御部は、検出した障害物を拡大表示するようＣＣＤカメラを制御して、その拡大映像をモニタに表示することも可能である。これにより運転者は障害物の内容を目視で確認することができる。
【０００６】
上記のように特許文献１に開示される車両周辺障害物検出装置では、画像障害物検出部と超音波障害物検出部のどちらか一方で障害物が検出された場合に、これを運転者に提示する。そのため、ＣＣＤカメラを用いた障害物検出処理が困難である逆行や夜間の状態においても、障害物の検出漏れを抑制することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２９３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示される車両周辺障害物検出装置では、ＣＣＤカメラを用いた障害物検出処理が困難である逆光や夜間などの悪条件に対処するため、特性の異なる超音波センサを併用することにより、障害物の検出漏れを救済する方式が述べられている。しかしながら、超音波センサにおいても、障害物検出処理が困難である環境が存在する。
【０００９】
例えば、超音波センサでは、強い雪などの悪天候時に超音波が空気中で乱反射するため障害物の検出が困難となる。その他にも、豪雨／濃霧／高温時／極寒時／傾斜した路面／フェンス／金網などの環境では検出漏れや検出誤りが発生することが知られている。
【００１０】
このため、ＣＣＤカメラと超音波センサを単純に併用しても、障害物検出処理が困難な状態が存在するという課題がある。
また、各センサによる障害物検出処理自体は、特に処理内容が変更されるわけではなく、例えば悪条件に適応させることで、障害物検出処理の精度を向上させるものではない。
【００１１】
この発明は、上記のような課題を解決するためになされたもので、障害物を検出する各センサにおいて、障害物検出処理が困難な環境条件に対して適合的に調整が行われ、安定性の高い障害物の検出を実現することができる車両周辺障害物検出装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
この発明に係る車両周辺障害物検出装置は、超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサと、超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波センサによるセンサ出力値に基づいて障害物の情報を検出する超音波信号処理部と、カメラパラメータテーブルに記載された処理パラメータを参照して、障害物の映像を撮影するカメラと、カメラパラメータテーブルに記載された処理パラメータを参照して、カメラにより撮影された映像に基づいて障害物の情報を検出する映像処理部と、超音波信号処理部により検出された障害物の情報と映像処理部により検出された障害物の情報とを統合して映像を生成する障害物統合検出部と、障害物統合検出部により生成された映像を表示する表示装置と、超音波信号処理部および映像処理部により検出された障害物の情報に基づいて、超音波センサパラメータテーブルまたはカメラパラメータテーブルに記載された処理パラメータを調整するパラメータ調整部とを備えたものである。
【発明の効果】
【００１３】
この発明によれば、上記のように構成したので、超音波センサとカメラを用いた両方の障害物検出結果を基に、超音波センサやカメラ、および後段の超音波信号処理部や映像処理部の処理パラメータを自動調整することで、障害物を検出する各センサにおいて、障害物検出が困難な環境条件に対して適合的に調整が行われ、安定性の高い障害物の検出を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１に係る車両周辺障害物検出装置の構成を示すブロック図である。
【図２】この発明の実施の形態１における超音波センサとカメラの車両への取り付け例を示す図である。
【図３】この発明の実施の形態１に係る車両周辺障害物検出装置の動作を示すフローチャートである。
【図４】この発明の実施の形態１における良好な条件下での障害物検出結果例を示す図である。
【図５】この発明の実施の形態１における雪が降っている場合のパラメータ調整前の障害物検出結果例を示す図である。
【図６】この発明の実施の形態１における雪が降っている場合のパラメータ調整後の障害物検出結果例を示す図である。
【図７】この発明の実施の形態１における照明が暗い場合のパラメータ調整前の障害物検出結果例を示す図である。
【図８】この発明の実施の形態１における照明が暗い場合のパラメータ調整後の障害物検出結果例を示す図である。
【図９】この発明の実施の形態２におけるパラメータ調整前の障害物検出結果例を示す図である。
【図１０】この発明の実施の形態２におけるパラメータ調整後の障害物検出結果例を示す図である。
【図１１】この発明の実施の形態３における検出困難状況の障害物検出結果例を示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る車両周辺障害物検出装置の構成を示すブロック図である。
車両周辺障害物検出装置は、図１に示すように、超音波センサ１０１、超音波信号処理部１０２、カメラ１０３、映像処理部１０４、障害物統合検出部１０５、表示装置１０６、超音波センサパラメータテーブル１０７、カメラパラメータテーブル１０８およびパラメータ調整部１０９から構成される。
【００１６】
超音波センサ１０１は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波により障害物のセンシングを行うものである。図２では、４個の超音波センサ１０１を車両後方に取り付けた場合を示し、各超音波センサ１０１のセンシング領域２０１を示している。この超音波センサ１０１では、超音波を出射して、障害物からの反射波を入射する。
この超音波センサ１０１によるセンサ出力値（反射波の強度）を示すセンサ出力情報は超音波信号処理部１０２に送られる。
【００１７】
超音波信号処理部１０２は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波センサ１０１によるセンサ出力値に基づいて障害物の有無を検出するものである。
また、超音波信号処理部１０２は、障害物を検出した際には、この超音波センサ１０１のセンシング領域２０１および測定した障害物までの距離に基づいて、この障害物の領域を特定する。この超音波信号処理部１０２により特定された障害物の領域を示す障害物情報は障害物統合検出部１０５に送られる。
【００１８】
カメラ１０３は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、障害物の映像を撮影するものである。図２では、１個のカメラ１０３が車両後方に取り付けられた場合を示し、このカメラの視野領域２０２を示している。
このカメラ１０３により撮影された映像は映像処理部１０４および障害物統合検出部１０５に送られる。
【００１９】
映像処理部１０４は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、カメラ１０３による映像を解析して障害物の有無を検出するものである。
また、映像処理部１０４は、障害物を検出した際には、障害物の領域を特定する。この映像処理部１０４により特定された障害物の領域を示す障害物情報は障害物統合検出部１０５に送られる。
【００２０】
障害物統合検出部１０５は、超音波信号処理部１０２と映像処理部１０４による障害物情報を統合して、この障害物の領域を特定するマークをカメラ１０３により撮影された映像上に重畳表示した映像を生成するものである。この障害物統合検出部１０５により生成された映像は表示装置１０６に送られる。また、障害物統合検出部１０５に送られた障害物情報はパラメータ調整部１０９に送られる。
表示装置１０６は、障害物統合検出部１０５により生成された映像を表示するものである。
【００２１】
超音波センサパラメータテーブル１０７は、超音波センサ１０１や超音波信号処理部１０２が処理を行う際に参照する処理パラメータを保持するものである。この超音波センサパラメータテーブル１０７には、例えば、超音波信号処理部１０２において障害物検出を行う際に用いる判定閾値や、超音波センサ１０１のセンシング領域２０１の形状を決める制御パラメータの値が記載されている。
【００２２】
カメラパラメータテーブル１０８は、カメラ１０３や映像処理部１０４が処理を行う際に参照する処理パラメータを保持するものである。カメラパラメータテーブル１０８には、例えば、カメラ１０３の感度や、映像処理部１０４において障害物検出を行う際に用いる画像処理に関するパラメータ類（エッジ抽出処理のパラメータや、２値化処理の閾値等）が記載されている。
【００２３】
パラメータ調整部１０９は、障害物統合検出部１０５に送られた各センサによる障害物情報に基づいて、超音波センサパラメータテーブル１０７とカメラパラメータテーブル１０８に記載された処理パラメータを調整するものである。
【００２４】
次に、上記のように構成された車両周辺障害物検出装置の動作について説明する。
図３はこの発明の実施の形態１に係る車両周辺障害物検出装置の動作を示すフローチャートである。また、図４はこの発明の実施の形態１において良好な条件下での障害物検出結果例を示す図である。
図４において、符号４０１はカメラ１０３で撮影した映像、符号４０２は超音波センサ１０１のセンサ出力値、符号４０３は判定閾値、符号４０４は超音波センサ１０１による障害物の領域、符号４０５はカメラ１０３による障害物の領域を示している。
【００２５】
車両周辺障害物装置の動作では、図３に示すように、車両がバックして駐車を行う際に、超音波センサ１０１は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波により車両後方の障害物をセンシングする（ステップＳＴ３１）。ここで、図４に示すように、超音波センサ１０１のセンシング領域２０１に障害物が存在する場合にはセンサ出力値（反射波の強度）４０２は高くなる。この超音波センサ１０１によるセンサ出力値を示すセンサ出力情報は超音波信号処理部１０２に送られる。
【００２６】
次いで、超音波信号処理部１０２は、超音波センサパラメータテーブル１０７に記載された処理パラメータを参照しながら、超音波センサ１０１によるセンサ出力値に基づいて障害物の有無を検出する（ステップＳＴ３２）。ここで、図４に示すように、超音波信号処理部１０２では、超音波センサ１０１によるセンサ出力値４０２が判定閾値４０３を超えた場合には、その超音波センサ１０１のセンシング方向に障害物が存在していると判定する。
【００２７】
このステップＳＴ３２において、超音波信号処理部１０２は、障害物が存在していると判定した場合には、次いで、その障害物の領域を特定する（ステップＳＴ３３）。ここで、図４に示すように、例えば、中央２つの超音波センサ１０１のセンサ出力値４０２が判定閾値４０３を超えている場合には、これらのセンシング領域２０１上に障害物があることが分かる。また、超音波センサ１０１では、障害物までの距離を測定することができる。そのため、超音波信号処理部１０２は、この障害物までの距離と障害物が検出された超音波センサ１０１のセンシング領域２０１の大きさを基に、障害物の領域４０４を特定することができる。
この超音波信号処理部１０２により特定された障害物の領域４０４を示す障害物情報は障害物統合検出部１０５に送られる。
【００２８】
一方、カメラ１０３は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、車両後方の障害物の映像を撮影する（ステップＳＴ３４）。このカメラ１０３により撮影された映像は映像処理部１０４および障害物統合検出部１０５に送られる。
【００２９】
次いで、映像処理部１０４は、カメラパラメータテーブル１０８に記載された処理パラメータを参照しながら、カメラ１０３による映像を解析して障害物の有無を検出する（ステップＳＴ３５）。なお、この映像処理部１０４では、例えば、背景映像と現在の映像との差分をとる等の既存手法を用いることで、映像中に存在する障害物を検出する。
【００３０】
このステップＳＴ３５において、映像処理部１０４は、障害物が存在していると判定した場合には、次いで、その障害物の領域を特定する（ステップＳＴ３６）。ここで、図４に示すように、映像処理部１０４は、映像を画像処理することによって、障害物の領域４０５を特定する。この映像処理部１０４により特定された障害物の領域４０５を示す障害物情報は障害物統合検出部１０５に送られる。
【００３１】
次いで、障害物統合検出部１０５は、超音波信号処理部１０２と映像処理部１０４による障害物情報を統合して、この障害物の領域を特定するマークをカメラ１０３により撮影された映像上に重畳表示して映像を生成する（ステップＳＴ３７）。ここで、障害物統合検出部１０５は、図４に示すように、カメラ１０３により撮影された映像上の、超音波信号処理部１０２により特定された障害物の領域４０４を実線で囲み、映像処理部１０４により特定された障害物の領域４０５を点線で囲むことによって、障害物の領域をマークした映像４０１を生成する。
この障害物統合検出部１０５により生成された映像４０１は、表示装置１０６に送られて表示されることによって、運転者に提示される。
また、障害物統合検出部１０５に送られた超音波信号処理部１０２および映像処理部１０４による障害物情報はパラメータ調整部１０９に送られる。
【００３２】
次いで、パラメータ調整部１０９は、障害物統合検出部１０５から送られた各センサによる障害物情報に基づいて、超音波センサパラメータテーブル１０７とカメラパラメータテーブル１０８に記載された処理パラメータを調整する（ステップＳＴ３８）。
以下では、このパラメータ調整部１０９によるパラメータ調整について説明する。
【００３３】
まず、超音波信号処理部１０２による障害物検出処理が困難な条件下でのパラメータ調整部１０９によるパラメータ調整について説明する。
図５はこの発明の実施の形態１における雪が降っている場合のパラメータ調整前の障害物検出結果例を示す図である。また、図６はこの発明の実施の形態１における雪が降っている場合のパラメータ調整後の障害物検出結果例を示す図である。
図５において、符号５０１はカメラ１０３で撮影した映像、符号５０２は超音波センサ１０１のセンサ出力値、符号５０３は判定閾値、符号５０４は映像処理部１０４による障害物の領域を示している。
図６において、符号６０１はカメラ１０３で撮影した映像、符号６０２は超音波センサ１０１のセンサ出力値、符号６０３は判定閾値、符号６０４は超音波信号処理部１０２による障害物の領域、符号６０５は映像処理部１０４による障害物の領域を示している。
【００３４】
図５に示すように、強い雪が降っている悪天候下の場合、映像処理部１０４による障害物検出処理では、カメラ１０３により撮影された映像中に障害物が映っていれば、画像処理的な手法により障害物の領域５０４を特定することができる。
一方、超音波信号処理部１０２による障害物検出処理では、超音波が雪で乱反射するため反射波の強度５０２が弱まり、判定閾値５０３を超えなくなる。そのため、超音波センサ１０１では障害物を検出することができない。
【００３５】
この場合、どちらか一方の手段により障害物が検出できれば運転者に警告することは可能である。しかしながら、このまま雪の降る悪天候下を移動して暗い場所に入った場合には、カメラ１０３でも障害物を検出することができなくなるため、障害物が全く検出できなくなる恐れがある。
【００３６】
このように、映像処理部１０４からは障害物が検出されているが超音波信号処理部１０２からは障害物が検出されない場合、パラメータ調整部１０９は、超音波センサパラメータテーブル１０７の内容を更新する。これにより、超音波信号処理部１０２による障害物検出処理を悪条件下でも行えるように自動適合させる。
【００３７】
例えば、図６に示すように、パラメータ調整部１０９は超音波センサパラメータテーブル１０７内の判定閾値６０３の値を低くする。これにより超音波センサ１０１によるセンサ出力値６０２が判定閾値６０３を超えることができる。そのため、超音波信号処理部１０２は障害物の領域６０４を特定することができる。
【００３８】
その結果、図６に示すように、カメラ１０３により撮影された映像６０１上に、超音波信号処理部１０２による障害物の領域６０４と映像処理部１０４による障害物の領域６０５を強調表示した映像を運転者に提示することができる。
以降の運転中は、この処理パラメータの値を利用することで雪の降る悪天候下を移動して暗い場所に入った場合でも、障害物が検出可能となる。
【００３９】
次に、映像処理部１０４による障害物検出が困難な条件下でのパラメータ調整部１０９によるパラメータ調整について説明する。
図７はこの発明の実施の形態１における照明が暗い場合のパラメータ調整前の障害物検出結果例を示す図である。また、図８はこの発明の実施の形態１における照明が暗い場合のパラメータ調整後の障害物検出結果例を示す図である。
図７において、符号７０１はカメラ１０３で撮影した映像、符号７０２は超音波センサ１０１のセンサ出力値、符号７０３は判定閾値、符号７０４は超音波信号処理部１０２による障害物の領域を示している。
図８において、符号８０１はカメラ１０３で撮影した映像、符号８０２は超音波信号処理部１０２による障害物の領域、符号８０３は映像処理部１０４による障害物の領域を示している。
【００４０】
図７に示すように、夕暮れ時の暗い環境下の場合、超音波信号処理部１０２による障害物検出処理では、超音波は影響をうけることはないため、障害物が存在する場合には超音波センサ１０１によるセンサ出力値７０２が判定閾値７０３を超える。これにより、超音波信号処理部１０２は、障害物の領域７０４を特定することができる。
一方、映像処理部１０４による障害物検出処理では、カメラ１０３により撮影された映像が暗くて障害物と背景の分離が困難となるため、障害物を検出できない。
【００４１】
この場合、どちらか一方の手段により障害物が検出できれば運転者に警告することは可能である。しかしながら、この暗い環境下を走行して超音波センサ１０１が正しく動作しない状況（近くの駐車場や踏み切りに別の超音波センサが存在する等）に出くわした場合には、超音波センサ１０１でも障害物を検出することができなくなるため、障害物が全く検出できなくなる恐れがある。
【００４２】
このように、超音波信号処理部１０２からは障害物が検出されているが映像処理部１０４からは障害物が検出されない場合、パラメータ調整部１０９は、カメラパラメータテーブル１０８の内容を更新する。これにより、映像処理部１０４による障害物検出処理を悪条件下でも行えるように自動適合させる。
【００４３】
例えば、図８に示すように、パラメータ調整部１０９は、カメラパラメータテーブル１０８内のカメラ１０３の感度を高め、かつ障害物が検出しやすいようにエッジ抽出処理等のパラメータを修正する。これにより映像処理部１０４は、カメラ１０３により撮影された映像中から障害物の領域８０３を特定することができる。
【００４４】
その結果、図８に示すように、カメラ１０３により撮影された映像８０１上に、超音波信号処理部１０２による障害物の領域８０２と映像処理部１０４による障害物の領域８０３を強調表示した映像を運転者に提示することができる。
以降の運転中は、このパラメータの値を利用することで夕暮れ時の暗い環境下を移動して雪の降り出した場合でも、障害物が検出可能となる。
【００４５】
以上のように、この実施の形態１によれば、超音波信号処理部１０２と映像処理部１０４による障害物情報を基に、超音波センサ１０１やカメラ１０３、および超音波信号処理部１０２や映像処理部１０４のパラメータ値を自動調整するように構成したので、超音波信号処理部１０２または映像処理部１０４による障害物検出処理が困難である条件化に対しても、適合的に処理パラメータの調整が行うことができるため、安定性の高い障害物の検出を実現することができる。
【００４６】
なお、この実施の形態１におけるパラメータ調整部１０９では、超音波センサパラメータテーブル１０７内のパラメータ調整において、判定閾値を変更する場合について説明したが、これに限るものではなく、超音波センサ１０１の出力を上げたり、指向性を変える等の操作を行っても良い。
【００４７】
実施の形態２．
実施の形態１では、どちらか一方の障害物検出処理でのみ障害物が検出された場合のパラメータ調整について説明したが、実施の形態２では、検出された領域や個数等の情報を用いて自動的に処理パラメータを調整するものについて示す。
なお、この実施の形態２に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００４８】
また、実施の形態２に係る車両周辺障害物検出装置の動作は、パラメータ調整部１０９の内部処理を除き、図３に示す実施の形態１に係る車両周辺障害物検出装置の動作と同じである。以下では、パラメータ調整部１０９によるパラメータ調整について説明する。
【００４９】
ここで、パラメータ調整部１０９は、超音波信号処理部１０２による障害物領域と映像処理部１０４による障害物領域の重複度合いを示す評価値Ｄを計算し、その評価値Ｄが大きくなるようにパラメータ値を自動調整する。例えば、評価値Ｄとして下記に示す式（１）を用いる。
評価値Ｄ＝（Ａｒｅａ（超音波）∩Ａｒｅａ（カメラ））／（Ａｒｅａ（超音波）∪Ａｒｅａ（カメラ））＋ｆ（カメラから検出された障害物領域数，超音波で検出された障害物領域数） （１）
【００５０】
式（１）において、Ａｒｅａ（Ｘ）は、障害物検出処理部Ｘ（超音波信号処理部１０２または映像処理部１０４）により特定された障害物領域の映像上での領域を表す。また、（Ａｒｅａ（超音波）∩Ａｒｅａ（カメラ））は２つの領域が重なった部分の面積を示す。（Ａｒｅａ（超音波）∪Ａｒｅａ（カメラ））は２つの領域のカバーする領域（重ならない部分＋重なった部分）の面積を示す。またｆは評価関数であり、例えば映像処理部１０４により検出された障害物領域数と超音波信号処理部１０２により検出された障害物領域数に差異がある場合には小さい値を示し、同数である場合には大きい値を示す。これにより、超音波センサ１０１とカメラ１０３を用いた場合の障害物検出結果の一致性が低いほど、評価値Ｄの値は小さくなる。
【００５１】
次に、具体的な図を参照しながらパラメータ調整部１０９によるパラメータ調整について説明する。
図９はこの発明の実施の形態２におけるパラメータ調整前の障害物検出結果例を示す図である。また、図１０はこの発明の実施の形態２におけるパラメータ調整後の障害物検出結果例を示す図である。
図９において、符号９０１はカメラ１０３で撮影した映像、符号９０２は超音波センサ１０１のセンサ出力値、符号９０３は判定閾値、符号９０４は超音波信号処理部１０２による障害物の領域、符号９０５は映像処理部１０４による障害物の領域、符号９０６は両手段による障害物領域の重なり領域を示している。
図１０において、符号１００１はカメラ１０３で撮影した映像、符号１００２は超音波センサ１０１のセンサ出力値、符号１００３は判定閾値、符号１００４は超音波信号処理部１０２による障害物の領域、符号１００５は映像処理部１０４による障害物の領域、符号１００６は両手段による障害物領域の重なり領域を示している。
【００５２】
図９に示す場合では、超音波信号処理部１０２による障害物検出処理では、雪による超音波の乱反射の影響のため、一部の障害物のみ（人間）しか検出することができず、障害物の領域９０４が実際の障害物領域より小さく特定される。
一方、カメラ１０３による障害物検出では、暗い照明による影響のため、一部の障害物のみ（障害物の上部）しか検出することができず、障害物の領域９０５が実際の障害物領域より小さく特定される。
【００５３】
この場合、超音波信号処理部１０２と映像処理部１０４による２つの障害物領域にはずれが生じているため、重なり領域９０６の面積は小さくなる。そのため、パラメータ調整部１０９により算出された評価値Ｄは小さくなる。
【００５４】
このように、評価値Ｄが小さい場合、パラメータ調整部１０９は、この評価値Ｄが大きくなるように、超音波センサパラメータテーブル１０７およびカメラパラメータテーブル１０８の内容を更新する。
【００５５】
例えば、図１０に示すように、パラメータ調整部１０９は、超音波センサパラメータテーブル１０７内の判定閾値１００３を低くする。これにより超音波センサ１０１によるセンサ出力値１００２が判定閾値１００３を超えることができるため、超音波信号処理部１０２は障害物を適切に包含した領域１００４を特定することができる。
【００５６】
また、パラメータ調整部１０９は、カメラパラメータテーブル１０８内のカメラ１０３の感度を高め、かつ障害物が検出しやすいようにエッジ抽出処理等のパラメータを修正する。これにより映像処理部１０４は障害物を適切に包含した領域１００５を特定することができる。
【００５７】
この場合、超音波信号処理部１０２と映像処理部１０４による２つの障害物領域のずれが少なくなるため、重なり領域１００５の面積は大きくなる。そのため、パラメータ調整部１０９により算出された評価値Ｄは大きくなる。
【００５８】
以上のように、この実施の形態２によれば、検出された領域や個数等の情報を用いて評価値Ｄを定義し、この値が大きくなるように自動的に処理パラメータを調整するように構成したので、多様な悪条件下であっても適切にパラメータ調整を行うことが可能となる。
【００５９】
実施の形態３．
実施の形態１，２では、障害物情報を基に処理パラメータを自動調整して極力、障害物を検出することができるようにしたが、実施の形態３では、障害物が正しく検出できない状況（検出困難状況）であると判定した場合に、その旨を運転者に提示するものについて示す。
なお、この実施の形態３に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００６０】
図１１はこの発明の実施の形態３における検出困難状況の障害物検出結果例を示す図である。
図１１において、符号１１０１はカメラ１０３で撮影した映像、符号１１０２は超音波センサ１０１のセンサ出力値、符号１１０３は判定閾値、符号１１０４はフェンス示している。
【００６１】
例えば、図１１に示すように、車両がバックで駐車する際に障害物としてフェンス１１０４が存在する場合には、超音波センサ１０１による出射波はフェンス１１０４をすり抜けるために、その反射波の強度を示すセンサ出力値１１０２は全て低い値を示す。そのためセンサ出力値１１０２が判定閾値１１０３を超えず、超音波信号処理部１０２では障害物が検出されない。
【００６２】
そこで、映像処理部１０４は、実施の形態１，２で述べた障害物検出処理機能に加えて、カメラ１０３により撮影された映像中から、超音波信号処理部１０２による障害物検出処理が困難である特定パターン（フェンスや金網）を画像処理的に検出する機能を有している。フェンス１１０４等の直線からなる幾何学的な連続パターンは、画像処理的に検出し易く、直線が等間隔に並んでいるかを検定することにより、比較的安易に実現できる。この映像処理部１０４により特定のパターンが映像中から検出された場合には、その旨が障害物統合検出部１０５に送られる。
【００６３】
障害物統合検出部１０５は、実施の形態１，２で述べた映像生成処理機能に加えて、映像処理部１０４から超音波信号処理部１０２による障害物検出処理が困難である特定パターンが検出された旨が通知された場合に、超音波信号処理部１０２による障害物検出処理の動作が補償されない状況であることを運転者に対して表示装置１０６を介して絵や文字、音声等で通知する機能を有している。
【００６４】
同様に、映像処理部１０４は、カメラ１０３により撮影された映像中から、映像処理部１０４による障害物検出処理が困難である特定のパターン（画像中の輝度差が少ない、平均輝度値が標準範囲外）を検出する。この映像処理部１０４により特定のパターンが検出された場合には、その旨が障害物統合検出部１０５に送られる。
【００６５】
障害物統合検出部１０５は、映像処理部１０４から映像処理部１０４による障害物検出が困難である特定パターンが検出された旨が通知された場合に、映像処理部１０４による障害物検出の動作が補償されない状況であることを運転者に対して表示装置１０６を介して絵や文字、音声等で通知する。
【００６６】
以上のように、この実施の形態３によれば、超音波信号処理部１０２や映像処理部１０４による障害物検出処理が適切に動作しないと判断された状況が見つかった場合、その旨を運転者に対して警告するように構成したので、障害物検出処理の動作が保証されない環境においては、運転者の注意を促して安全に駐車を支援することが可能となる。
【００６７】
実施の形態４．
実施の形態３では、超音波信号処理部１０２や映像処理部１０４による障害物検出処理が適切に動作しないと判断された状況が見つかった場合、その旨を運転者に対して警告したが、実施の形態４では、実施の形態２に示した評価値Ｄを用いて、障害物検出処理が適切に動作しているか否かを判定するものについて示す。
なお、この実施の形態４に係る車両周辺障害物検出装置の構成は、図１に示す実施の形態１に係る車両周辺障害物検出装置の構成と同様であるため、以下図１を参照しながら説明を行う。
【００６８】
パラメータ調整部１０９により算出される評価値Ｄは、超音波信号処理部１０２や映像処理部１０４による障害物の領域が一致しない場合は、その値が小さくなる。従って、評価値Ｄが小さい場合は、何らかの環境要因により障害物検出処理の精度が低下している恐れがある。
【００６９】
そこで、パラメータ調整部１０９は、実施の形態１−３で述べた映像生成処理機能に加えて、評価値Ｄがある閾値よりも小さい場合には、超音波信号処理部１０２および映像処理部１０４による障害物検出処理のうち、少なくとも１つ以上の手段が適切に動作しないと判断し、その旨を障害物統合検出部１０５に通知する機能を有している。
このパラメータ調整部１０９からの通知を受けた障害物統合検出部１０５は、障害物検出処理の動作が保証されない状況であることを運転者に対して表示装置を介して絵や文字、音声等で通知する。
【００７０】
以上のように、この実施の形態４によれば、評価値Ｄの値が閾値より小さい場合には、超音波信号処理部１０２および映像処理部１０４による障害物検出処理のうち、少なくとも１つ以上の手段が適切に動作しない状況と判定して、その旨を運転者に対して警告するように構成したので、障害物検出処理の動作が保証されない環境においては、運転者の注意を促して安全に駐車を支援することが可能となる。
【符号の説明】
【００７１】
１０１ 超音波センサ、１０２ 超音波信号処理部、１０３ カメラ、１０４ 映像処理部、１０５ 障害物統合検出部、１０６ 表示装置、１０７ 超音波センサパラメータテーブル、１０８ カメラパラメータテーブル、１０９ パラメータ調整部。
【特許請求の範囲】
【請求項１】
超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサと、
前記超音波センサパラメータテーブルに記載された処理パラメータを参照して、前記超音波センサによるセンサ出力値に基づいて障害物の情報を検出する超音波信号処理部と、
カメラパラメータテーブルに記載された処理パラメータを参照して、障害物の映像を撮影するカメラと、
前記カメラパラメータテーブルに記載された処理パラメータを参照して、前記カメラにより撮影された映像に基づいて障害物の情報を検出する映像処理部と、
前記超音波信号処理部により検出された障害物の情報と前記映像処理部により検出された障害物の情報とを統合して映像を生成する障害物統合検出部と、
前記障害物統合検出部により生成された映像を表示する表示装置と、
前記超音波信号処理部および前記映像処理部により検出された障害物の情報に基づいて、前記超音波センサパラメータテーブルまたは前記カメラパラメータテーブルに記載された処理パラメータを調整するパラメータ調整部と
を備えた車両周辺障害物検出装置。
【請求項２】
前記パラメータ調整部は、前記映像処理部により障害物の情報が検出され、前記超音波信号処理部により当該障害物の情報が検出されない場合に、前記超音波センサパラメータテーブルの処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項３】
前記パラメータ調整部は、前記超音波信号処理部により障害物の情報が検出され、前記映像処理部により当該障害物の情報が検出されない場合に、前記カメラパラメータテーブルに記載された処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項４】
前記パラメータ調整部は、前記超音波信号処理部により検出された障害物の領域と、前記映像処理部により検出された障害物の領域との重複度合いを示す評価値を算出し、当該評価値が大きくなるように前記超音波センサパラメータテーブルおよび前記カメラパラメータテーブルに記載された処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項５】
前記映像処理部が前記超音波信号処理部による障害物の情報検出が困難である特定の映像パターンを検出した場合には、前記障害物統合検出部は、前記超音波信号処理部による障害物の情報検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項６】
前記映像処理部が前記映像処理部による障害物の情報検出が困難である特定の映像パターンを検出した場合には、前記障害物統合検出部は、前記映像処理部による障害物の情報検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項７】
前記障害物統合検出部は、前記パラメータ調整部により算出された評価値の値が所定の閾値よりも低い場合には、前記超音波信号処理部および前記映像処理部による障害物検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項４記載の車両周辺障害物検出装置。
【請求項１】
超音波センサパラメータテーブルに記載された処理パラメータを参照して、超音波により障害物のセンシングを行う超音波センサと、
前記超音波センサパラメータテーブルに記載された処理パラメータを参照して、前記超音波センサによるセンサ出力値に基づいて障害物の情報を検出する超音波信号処理部と、
カメラパラメータテーブルに記載された処理パラメータを参照して、障害物の映像を撮影するカメラと、
前記カメラパラメータテーブルに記載された処理パラメータを参照して、前記カメラにより撮影された映像に基づいて障害物の情報を検出する映像処理部と、
前記超音波信号処理部により検出された障害物の情報と前記映像処理部により検出された障害物の情報とを統合して映像を生成する障害物統合検出部と、
前記障害物統合検出部により生成された映像を表示する表示装置と、
前記超音波信号処理部および前記映像処理部により検出された障害物の情報に基づいて、前記超音波センサパラメータテーブルまたは前記カメラパラメータテーブルに記載された処理パラメータを調整するパラメータ調整部と
を備えた車両周辺障害物検出装置。
【請求項２】
前記パラメータ調整部は、前記映像処理部により障害物の情報が検出され、前記超音波信号処理部により当該障害物の情報が検出されない場合に、前記超音波センサパラメータテーブルの処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項３】
前記パラメータ調整部は、前記超音波信号処理部により障害物の情報が検出され、前記映像処理部により当該障害物の情報が検出されない場合に、前記カメラパラメータテーブルに記載された処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項４】
前記パラメータ調整部は、前記超音波信号処理部により検出された障害物の領域と、前記映像処理部により検出された障害物の領域との重複度合いを示す評価値を算出し、当該評価値が大きくなるように前記超音波センサパラメータテーブルおよび前記カメラパラメータテーブルに記載された処理パラメータを調整する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項５】
前記映像処理部が前記超音波信号処理部による障害物の情報検出が困難である特定の映像パターンを検出した場合には、前記障害物統合検出部は、前記超音波信号処理部による障害物の情報検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項６】
前記映像処理部が前記映像処理部による障害物の情報検出が困難である特定の映像パターンを検出した場合には、前記障害物統合検出部は、前記映像処理部による障害物の情報検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項１記載の車両周辺障害物検出装置。
【請求項７】
前記障害物統合検出部は、前記パラメータ調整部により算出された評価値の値が所定の閾値よりも低い場合には、前記超音波信号処理部および前記映像処理部による障害物検出の動作が保証できない旨を前記表示装置を介して通知する
ことを特徴とする請求項４記載の車両周辺障害物検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１８０６８８（Ｐ２０１１−１８０６８８Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２３６１（Ｐ２０１０−４２３６１）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]