衝突検出装置
【課題】路上に存在する障害物を迅速かつ適切に識別することができる衝突検出装置を提供する。
【解決手段】車両Ａに搭載された、車両前方を撮影する撮影手段１０と、撮影手段１０によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段２０と、を備えており、路上対象物検出手段２０は、撮影手段１０によって撮影された画像に基づいて、対象物から車両Ａまでの間隔を算出する距離算出部２１と、撮影手段１０によって撮影された画像において、対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部２２と、間隔が所定の距離となっている対象物について、判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部２３と、を備えている。
【解決手段】車両Ａに搭載された、車両前方を撮影する撮影手段１０と、撮影手段１０によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段２０と、を備えており、路上対象物検出手段２０は、撮影手段１０によって撮影された画像に基づいて、対象物から車両Ａまでの間隔を算出する距離算出部２１と、撮影手段１０によって撮影された画像において、対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部２２と、間隔が所定の距離となっている対象物について、判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部２３と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衝突検出装置に関する。さらに詳しくは、車載されたカメラ等の撮影手段によって撮影された車両前方画像に基づいて、前方に存在する障害物などとの衝突を防止する衝突検出装置に関する。
【背景技術】
【０００２】
従来、車両同士の衝突や車両と歩行者との接触などを防ぐ技術として、車両に搭載したカメラによって撮影された画像を利用する技術が開発されている。例えば、画像から車両や歩行者、その他の障害物等の物体をパターン認識やオプティカルフロー等を利用して検出し、検出された物体が何であるか、また、その物体が静止しているものか移動しているものかを把握して、物体と車両との衝突を防ぐ技術が開発されており、多数の特許出願がなされている。
【０００３】
かかる技術では、画像から障害物等の物体、つまり、立体物を的確に検出することが重要であるが、撮影された画像は２次元であるため、路面に描かれた路面標識などを誤って立体物として検出してしまう可能性がある。
この誤検出を防ぐ方法として、２台のカメラを同期させて路面等を撮影し、撮影された対象物が立体物であるか路面標識であるかを識別する方法がある。しかし、かかる方法の場合には、（１）カメラを２台使用するため装置が大型化複雑化する、（２）２台のカメラの撮影タイミングを正確に合わせる制御が必要となる、（３）２台のカメラで撮影された画像から立体物を検出する処理が複雑になるため処理速度が遅くなる、といった問題がある。
【０００４】
そこで、車両に搭載された１台のカメラを利用して、この１台のカメラによって異なる時間に撮影された画像に基づいて、撮影された対象物が立体物であるか路面標識であるかを識別する技術が開発されている（特許文献１〜４、非特許文献１）。
【０００５】
特許文献１には、自動車等の接近物と誤認される可能性がある路面標識、例えばゼブラゾーンなどの路面標識の画像（静止物画像）を予め保存しておき、撮影された画像から検出される接近物と静止物画像とを比較することによって路面標識を検出する技術が開示されている。
【０００６】
また、特許文献２には、画像中において、障害物と推定される対象物（候補対象物）を検出し、この候補対象物が存在する領域の輝度に基づいて、画像中の候補対象物が何であるか、また、候補対象物が路面上の垂直物か否かを判別する技術が開示されている。
特許文献２の技術では、画像中の候補対象物が存在する領域において、水平方向および垂直方向のエッジヒストグラムをそれぞれ算出する。そして、算出された各エッジヒストグラムを、水平方向および垂直方向の参照エッジヒストグラム（記憶されている路上障害物の水平方向および垂直方向のエッジヒストグラム）とそれぞれ比較して、候補対象物を特定する。
この特許文献２の技術では、各エッジヒストグラムと参照エッジヒストグラムとを比較する際、各エッジヒストグラムを横軸方向に拡大縮小することによって、各エッジヒストグラムと参照エッジヒストグラムとの差が最も小さくなる拡大縮小倍率を求めている。そして、水平方向の拡大縮小倍率と垂直方向の拡大縮小倍率が一致する場合には候補対象が路面上の垂直物と判断して候補対象物を特定するが、両者が一致しない場合には候補対象が路面標識やマンホール等と判断している。
【０００７】
さらに、特許文献３、４および非特許文献１では、以下のようにして、画像内の対象物が、路面上の標識（つまり平面）であるかそれともを路上に存在する立体物であるか判断している。
まず、撮影された画像（前画像）において水平線を検出し、その水平線の上部に垂直な候補領域（障害物領域）を設定し、近接する複数の候補領域からなる組を設定する。
ついで、前画像から所定の時間経過後の画像（現在画像）において、前画像において設定された組と対応する組を検出する。
そして、検出された組が、路面または路面と垂直な面（つまり立体物に属する面）のいずれの面に属するかを、画像内における複数の水平線の縦方向の距離差に基づいて判断している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３１４９８９号公報
【特許文献２】特開２００５−３３２１２０号公報
【特許文献３】特開２００４−３２４６０号公報
【特許文献４】特開２００４−２４６４３６号公報
【非特許文献】
【０００９】
【非特許文献１】Ryuzo Okada et al,“Obstacle Detection Using Projective Invariant and Vanishing Lines”, Proceedings of the Ninth IEEEInternational Conference on Computer Vision,2003
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、走行している車両は移動速度が速いため、衝突を回避するには、撮影された画像の処理をできる限り短時間で行わなければならない。つまり、撮影された画像中の対象物の判断を短時間で行う必要がある。
【００１１】
しかるに、特許文献１の技術は、撮影された対象物が立体物であるか路面標識であるかを識別するためにパターンマッチングの手法を採用しているため判断のための処理時間が長くなる上、予め想定されている平面対象物しか判断することができない。
また、特許文献２の技術も、実質的にはパターンマッチングによる方法を利用して撮影された対象物が立体物であるか路面標識であるかを識別しているため、画像処理に時間がかかる。しかも、対象物を識別する際に、各エッジヒストグラムを拡大縮小する処理が必要となることから、通常のパターンマッチングよりもさらに処理時間が長くなる。
さらに、特許文献３、４および非特許文献１の技術では、水平線を検出することができれば対象物を識別することは可能と考えられるので、予め想定されている平面対象物以外でも識別することは可能と考える。しかし、前画像および現在画像の両画像において水平線を検出できない対象物については適切に識別することができない可能性がある。
【００１２】
本発明は上記事情に鑑み、路上に存在する障害物を迅速かつ適切に識別することができる衝突検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１発明の衝突検出装置は、車両に搭載された、該車両前方を撮影する撮影手段と、該撮影手段によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段と、を備えており、前記路上対象物検出手段は、前記撮影手段によって撮影された画像に基づいて、前記対象物から前記車両までの間隔を算出する距離算出部と、前記撮影手段によって撮影された画像において、前記対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部と、前記間隔が所定の距離となっている前記対象物について、前記判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部と、を備えていることを特徴とする。
第２発明の衝突検出装置は、第１発明において、前記判別ライン設定部によって設定される判別ラインが、路面と平行な水平線であり、前記対象物判定部は、前記対象物の一部が前記判別ラインよりも上方に存在するか否かに基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有していることを特徴とする。
第３発明の衝突検出装置は、第１または第２発明において、前記距離算出部は、前記画像における無限遠点の位置に基づいて前記間隔を算出するものであることを特徴とする。
第４発明の衝突検出装置は、第１、第２または第３発明において、前記撮影手段が、時間連続的に画像を撮影するものであり、前記対象物判定部は、前記時間連続的に撮影された複数枚の画像において、該複数枚の画像中に存在する同一対象物の水平方向長さおよび垂直方向長さを算出し、各画像で得られた水平方向長さと垂直方向長さの比の変化に基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有していることを特徴とする。
【発明の効果】
【００１４】
第１発明によれば、路上に存在する対象物と判別ラインとの相対的な位置を比較するだけであるから、対象物が立体物であるか平面標識であるかを簡単な処理で判別することができる。しかも、各画像において、車両からの距離が所定の距離となっている対象物のみを判別するので、判別を行う処理対象を少なくでき、判別処理を簡単かつ短時間で行うことができる。
第２発明によれば、判別ラインが路面と平行な水平線であるから、判別ラインを設定する処理が容易である。しかも、対象物の一部が判別ラインよりも上方に存在するか否かを判定するだけであるから、対象物が立体物であるか平面標識であるか判別する処理が非常に簡単であり、その処理時間も短くすることができる。
第３発明によれば、画像における無限遠点の位置に基づいて車両から対象物までの間隔を算出するので、簡単かつ短時間で間隔を算出することができる。
第４発明によれば、対象物が立体物であるか平面標識であるかの判別を、判別ラインによる判別に加えて、水平方向長さと垂直方向長さの比の変化による判別も行うので、より正確に対象物を判別することができる。しかも、対象物の水平方向長さおよび垂直方向長さとその比を算出するだけであるから、画像処理および判別に要する時間は短くできる。したがって、両方法による判別を行なっても、判別時間が長くなることを防ぐことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の衝突検出装置１の概略説明図であって、（Ａ）は車両Ａへの搭載状況を説明した図であり、（Ｂ）は衝突検出装置１のブロック図である。
【図２】距離算出部２１による距離算出方法を説明した図である。
【図３】（Ａ）は判別ラインＤＬを利用して立体物と路面標識を判別する判別方法の概略説明図であり、（Ｂ）は判別ライン設定部２２によって判別ラインＤＬが設定された画像ＤＰの概略説明図である。
【図４】対象物ＳＢの水平方向長さおよび垂直方向長さの比を利用して立体物と路面標識を判別する判別方法の概略説明図である。
【発明を実施するための形態】
【００１６】
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の衝突検出装置は、車両に搭載された撮影手段によって撮影された画像に基づいて車両が車両前方に存在する他の車両や障害物等と衝突する可能性を検出する装置であり、車両等の立体物と路上標識などの平面物とを判別でき、立体物と車両との間隔を迅速に検出できるようにしたことに特徴を有している。
【００１７】
なお、本明細書において、平面物とは、路面に描かれた最高速度の標示やＵターン禁止の標示などの路上標識だけでなく、路面上に存在する厚さが薄い板状の物体なども含む概念である。
また、本明細書において、立体物とは、他の車両や、歩行者、路側に設けられた道路標識・看板、道路上の落下物などの車両と衝突する可能性がある物体を意味している。
【００１８】
（本実施形態の衝突検出装置１の説明）
図１に示すように、本実施形態の衝突検出装置１は、撮影手段１０と、路上対象物検出手段２０とを備えたものであり、車両Ａに搭載されている。
【００１９】
（撮影手段１０）
図１に示すように、撮影手段１０は、例えば、ＣＣＤカメラ等の画像を撮影し、外部に撮影した画像のデータ（画像データおよび撮影タイミング等）を送信することができるものである。この撮影手段１０は、車両Ａ前方の車道Ｒの状況が撮影できる位置に配設されている。例えば、車両のフロントウインドウを通して車両Ａ前方の車道Ｒを測定することができるように、バックミラーの近傍に配設することができるが、車両Ａ前方の車道Ｒを測定できる位置であれば、車両Ａにおいて撮影手段１０を配設する位置はとくに限定されない。
【００２０】
なお、撮影手段１０は、平坦な車道Ｒ上に車両Ａを配置したときに、撮影される画像Ｐの横方向が車道Ｒと平行となるように配設されるが、その光軸ＣＡの車道Ｒに対する相対的な角度はとくに限定されない。例えば、撮影手段１０をその光軸ＣＡが車道Ｒに対して平行となるように配設してもよいし、車道Ｒと平行な平行線に対してその光軸ＣＡが下傾するように配設してもよい（図１（Ａ）参照）。
【００２１】
（路上対象物検出手段２０）
路上対象物検出手段２０は、撮影手段１０によって撮影された画像Ｐに基づいて、車両Ａの前方の路上に存在する立体物と車両Ａとの衝突の可能性を判断する機能を有するものである。この路上対象物検出手段２０は、距離算出部２１と、判別ライン設定部２２と、対象物判定部２３と、記憶部２５とを備えている。
【００２２】
なお、路上対象物検出手段２０は、例えば、コンピュータなどの制御装置であり、以下に説明する距離算出部２１、判別ライン設定部２２、対象物判定部２３の機能を実行することができるものである。
また、記憶部２５は、例えば、ハードディスクやメモリなどのように、画像Ｐや路上対象物の検出結果などの情報を記憶しておくことができるものである。この記憶部２５は、撮影手段１０や距離算出部２１、判別ライン設定部２２、対象物判定部２３などから送信されるデータを記憶し、また、距離算出部２１等の要求に応じて記憶しているデータを送信する機能を有している。
さらに、路上対象物検出手段２０は、撮影手段１０の作動（例えば、画像Ｐを撮影するタイミング等）を制御する制御機能を有していてもよい。
【００２３】
（距離算出部２１）
距離算出部２１は、撮影手段１０から送信される画像Ｐのデータに基づいて、画像Ｐ内における車道Ｒの領域の各点と車両Ａとの距離を算出するものである。この距離とは、撮影手段１０と車道Ｒの領域の各点との水平距離、つまり、車道Ｒに沿った方向における撮影手段１０から車道Ｒの領域の各点までの距離であって、画像Ｐ内に撮影されている車道Ｒ上の各点と車両Ａとの実際の距離、つまり、実空間での距離（以下、単に実距離Ｌという）である。
【００２４】
距離算出部２１は、実距離Ｌを以下の方法によって算出する。
【００２５】
撮影手段１０によって撮影された画像Ｐ内には、車道Ｒとこの車道Ｒ以外の画像（例えば、遠方の画像や車道Ｒ側方の画像）が撮影されている。この画像Ｐから、車道Ｒおよび車道Ｒ上に存在するもの（他の車両や歩行者などの障害物、路上標識など）だけを検出する。車道Ｒおよび車道Ｒ上に存在するものの検出は、画像にフィルタリング処理などの公知の処理を施すことによって行うことができる。
【００２６】
車道Ｒおよび車道Ｒ上に存在するものが検出されると、画像Ｐからこれら以外を除去した画像（以下、事前処理画像ＰＡという）を形成する。この事前処理画像ＰＡは、図２（Ａ）に示すような画像となる。
【００２７】
かかる事前処理画像ＰＡでは、車道Ｒは、直線であっても曲っていても、事前処理画像ＰＡ内の一点に収束するように撮影される。この車道Ｒが収束する点を消失点ＤＰとすると、この消失点ＤＰを通る水平線（事前処理画像ＰＡでは左右方向に引いた線）は、実空間では、撮影手段１０が設けられている高さＴ１（つまり、車道Ｒの路面からの高さ）に位置する車道Ｒと平行な平面と概ね一致する。すると、実際の空間において、事前処理画像ＰＡ内の車道Ｒ上の点（例えば、図２（Ａ）のＡ１〜Ａ３）は、車道Ｒと平行な平面（基準面ＨＬ）と、撮影手段１０と車道Ｒ上の各点とを結ぶ線CLAとがなす角度θから算出することができる。そして、事前処理画像ＰＡ内の車道Ｒ上の点を、車両Ａの先端から消失点ＤＰまで順次移動させれば、事前処理画像ＰＡ内の車道Ｒ上の各位置について実距離Ｌを算出することができる。言い換えれば、基準面ＨＬと線CLAとがなす角度θを変化させれば、事前処理画像ＰＡ内の車道Ｒ上の各位置について実距離Ｌを算出することができるのである。
【００２８】
この実距離Ｌは、以下の式によって求めることができる。
Ｌ=Ｔ１×ｔａｎ（９０−θ）
【００２９】
上記式によって実距離Ｌを算出すれば、例えば、高さＴ１が１ｍの場合、角度θと実距離Ｌは以下の関係となる（図２（Ｂ））。
【表１】
【００３０】
なお、事前処理画像ＰＡ内に撮影されている点について、実空間内での線CLAと基準面ＨＬとがなす角度θは、事前処理画像ＰＡ内における消失点ＤＰの位置、撮影手段１０の光軸ＣＡと基準面ＨＬとがなす角度αおよび画角ＶＡ（図１（Ａ）参照）から求めることができる。具体的には、事前処理画像ＰＡ内において、事前処理画像ＰＡ内に撮影されている実空間内での領域、具体的には、角度αと画角ＶＡとから、消失点ＤＰから車両Ａから何ｍ前の位置まで事前処理画像ＰＡ内に撮影されているかを把握できる。すると、事前処理画像ＰＡ内において消失点ＤＰから距離を求めたい点までの長さが把握できれば、実空間内での線CLAと基準面ＨＬとがなす角度θを求めることができる。
【００３１】
また、距離算出部２１は、事前処理画像ＰＡにおいて車道Ｒ上に存在するものを検出すると、検出されたもの（以下、対象物という）までの距離を算出する機能も有している。具体的には、事前処理画像ＰＡにおいて対象物が車道Ｒと接触している点を検出し、この検出された点について、上述した方法を使用することによって車両Ａから対象物までの距離を算出することができる。
なお、対象物が車道Ｒと接触している点は、事前処理画像ＰＡ上において対象物の下端の位置を特定するか、または事前処理画像ＰＡ内の対象物の像に基づいて下端の位置を推定する等の方法により検出することができる。
【００３２】
そして、距離算出部２１は、実距離Ｌと画像Ｐ（または事前処理画像ＰＡ）内における各点の座標のデータ（路上距離情報）、および、検出された対象物の座標（例えば車道Ｒとが接触している位置の座標）および車両Ａまでの距離（対象物距離情報）を、判別ライン設定部２２や対象物判定部２３、記憶部２５に送信する機能を有している。
【００３３】
（判別ライン設定部２２）
判別ライン設定部２２は、距離算出部２１から送信されるデータ（路上距離情報）と、撮影手段１０が撮影した画像Ｐ（または事前処理画像ＰＡ）のデータとに基づいて、事前処理画像ＰＡ内に判別ラインＤＬを設定する機能を有するものである。
なお、画像Ｐのデータは、判別ライン設定部２２に対して撮影手段１０から直接データが送信されてもよいが、判別ライン設定部２２が必要に応じて記憶部２５から記憶されている画像Ｐのデータを読みだしてもよい。
【００３４】
判別ライン設定部２２によって設定される判別ラインＤＬは、事前処理画像ＰＡ内に車道Ｒと平行に設けられる線であり、事前処理画像ＰＡにおいて、車両Ａから所定の距離だけ離れた位置であって車道Ｒから所定の高さに相当する位置に設定される（図３（Ｂ）参照）。
【００３５】
具体的には、判別ラインＤＬは、以下のようにして設定される。
まず、実空間において、撮影手段１０から車道Ｒの走行方向に沿って所定の距離（図３（Ａ）ではＬ１）だけ離れた位置（図３（Ａ）では基準位置RSB）を設定する。ついで、基準位置RSBから車道Ｒの走行方向に沿って所定の距離（図３（Ａ）ではRSL）だけ離れた位置（図３（Ａ）では先端位置RST）を設定し、実空間において、撮影手段１０と先端位置RSTとを結ぶ線分（図３（Ａ）では線分DLA）を算出する。そして、実空間において、基準位置において車道Ｒと垂直に形成される面（評価面ＤＳ）を設定し、この評価面ＤＳと線分DLAとが交差する交差点を求める。最後に、事前処理画像ＰＡにおいてこの交差点と対応する点を算出し、この点を通り車道Ｒと平行な線を判別ラインＤＬとする。
実空間で設定された交差点から事前処理画像ＰＡにおいてこの交差点と対応する点は対象物の下端の位置を画像上で特定する方法または下端の位置を推定する方法と同様の方法で算出することができる。
【００３６】
なお、判別ラインＤＬは、事前処理画像ＰＡ上では、実質的に先端位置RSTを通る車道Ｒと平行な線と一致する。簡便な方法としては、先端位置RSTを通る車道Ｒと平行な線を事前処理画像ＰＡに設定して、判別ラインＤＬとしてもよい。
また、判別ラインＤＬを上記のごとき方法で設定する理由は後述する。
【００３７】
また、基準位置RSBおよび先端位置RSTは全ての画像Ｐにおいて共通のものを事前に設定してもよいし、各画像Ｐから抽出した対象物に基づいて、各画像毎に設定してもよい。共通の基準位置RSBおよび先端位置RSTを事前に設定する場合には、基準位置RSBおよび先端位置RSTは車両Ａからの距離（図３におけるＬ１、Ｌ２）によって規定すれば、基準位置RSBおよび先端位置RSTに基づいて、評価面ＤＳおよび線分DLAを求めることができるので、判別ラインＤＬを設定することができる。
また、各画像Ｐから抽出した対象物に基づいて、各画像毎に基準位置RSBおよび先端位置RSTを設定する場合には、距離算出部２１によって算出された路上距離情報に基づいて、実空間に基準位置RSBおよび先端位置RSTを戻せば、上記方法によって判別ラインＤＬを設定することができる。
【００３８】
また、判別ライン設定部２２は、各事前処理画像ＰＡについて設定された判別ラインＤＬのデータ（例えば、距離等、以下、判別ライン情報という）は、対象物判定部２３や記憶部２５に送信する機能を有している。
【００３９】
（対象物判定部２３）
対象物判定部２３は、判別ライン設定部２２から送信される判別ライン情報と、距離算出部２１で算出された対象物距離情報に基づいて、距離算出部２１において検出された対象物が立体物であるか平面物であるかを判別する機能を有するものである。
具体的には、対象物判定部２３では、対象物と判別ラインＤＬとの相対的な位置に基づいて対象物が立体物であるか平面標識であるかを判別する。
【００４０】
（立体物と平面標識の識別）
以下、対象物判定部２３において、対象物が立体物であるか平面標識であるかを判別する方法を説明する。
【００４１】
図３（Ｂ）に示すように車道Ｒに平面標識ＴＭが描かれている場合には、図３（Ａ）に示すように、平面標識ＴＭにおいて最も車両Ａに近い点を基準位置RSBとし、平面標識ＴＭにおいて最も車両Ａから遠い点を先端位置RSTとする。すると、事前処理画像ＰＡに設定される判別ラインＤＬは、上述した方法によって、図３（Ｂ）のように設定される。つまり、事前処理画像ＰＡ上では、平面標識ＴＭの先端を通るように判別ラインＤＬが設定される。
【００４２】
ここで、図３（Ａ）に示すように、基準位置RSBの位置に立体物ＳＢが存在し、車両Ａから基準位置RSBまでの距離と、車両Ａから立体物ＳＢと車道Ｒの接触点までの距離が同じ距離であるとする。すると、立体物ＳＢがある程度の高さを有する場合には、事前処理画像ＰＡにおいて、立体物ＳＢの一部は判別ラインＤＬよりも上方にも存在する。つまり、立体物ＳＢの高さが、基準位置RSBの位置における線分DLAの高さよりも高い場合には、立体物ＳＢの一部は判別ラインＤＬよりも上方にも存在する。
【００４３】
上記関係に基づけば、事前処理画像ＰＡ内において、対象物下端から車両Ａまでの距離が基準位置RSBまでの距離と同じであって、事前処理画像ＰＡ内の対象物の一部が判別ラインＤＬよりも上方に位置する場合には、この対象物が立体物ＳＢであると判断することができる。
一方、対象物下端から車両Ａまでの距離が基準位置RSBまでの距離と同じであって、事前処理画像ＰＡ内の対象物の全体が判別ラインＤＬよりも下方に位置する場合には、この対象物が平面標識ＴＭであると判断することができる。
【００４４】
なお、対象物判定部２３は上記の方法によって対象物が立体物ＳＢであるか平面標識ＴＭであるかを判断するので、判断する対象物は、原則、車両Ａまでの距離が基準位置RSBの距離と同じものに限定される。
【００４５】
また、対象物判定部２３は、運転者に警告を発する警報装置やブレーキなどを作動させる運転制御装置などの衝突防止手段３０などに接続されていてもよい。この場合、検出された対象物が立体物の場合には、対象物判定部２３から衝突防止手段３０に信号を発信するようにしておけば、走行判断部２３からの信号を受信した衝突防止手段３０がブザーを鳴らしたりインジケータを点滅させたりすることもできるし、衝突回避のためにブレーキなどを作動させることもできる。
【００４６】
（本実施形態の衝突検出装置１の作用効果）
本実施形態の衝突検出装置１が、車両Ａが車両前方に存在する他の車両や障害物等と衝突する可能性を検出する動作について説明する。
【００４７】
以下では、衝突検出装置１において、車両Ａから基準位置RSBまでの距離Ｌ１および車両Ａから先端位置RSTまでの距離Ｌ２を予め設定する場合を説明する。
【００４８】
まず、衝突検出装置１において、距離Ｌ１および距離Ｌ２を設定する。この状態で車両Ａを走行させると、所定の時間毎に画像Ｐが撮影される。例えば、車両Ａが６０ｋｍ／ｈで走行している場合には、画像Ｐは１／３０秒間隔で撮影される。
【００４９】
なお、画像Ｐを撮影する時間間隔は、走行速度に関わらず一定としてもよいが、車両Ａの走行速度によって変化させる方が、他の車両や障害物等を適切に認識できるので、好ましい。例えば、ある画像Ｐを撮影してから次の画像Ｐを撮影するまでの車両Ａの移動距離が１〜２ｍ以下となるような間隔で測定することが好ましい。
【００５０】
撮影された画像Ｐは、距離算出部２１によって、画像Ｐから、車道Ｒおよび車道Ｒ上に存在する対象物が検出され、事前処理画像ＰＡが形成される（図３（Ｂ）参照）。そして、事前処理画像ＰＡを用いて、事前処理画像ＰＡ内の車道Ｒ上の各位置における実距離Ｌが算出されるとともに、検出された対象物から車両Ａまでの距離も算出される。
【００５１】
ついで、距離算出部２１によって算出された実距離Ｌに基づいて、事前処理画像ＰＡには判別ラインＤＬが設定される。そして、判別ラインＤＬが設定されると、車両Ａまでの距離が距離Ｌ１と同じ対象物について、判別ラインＤＬとの相対的な位置が比較される。つまり、事前処理画像ＰＡ内において、対象物の上端の位置が判別ラインＤＬよりも上方に位置するか否かが判断される。
【００５２】
そして、対象物の上端の位置が判別ラインＤＬよりも下方に位置すると判断された場合には、この対象物は平面標識ＴＭであると認識され、つぎの画像Ｐについて処理が行われる。
【００５３】
一方、対象物の上端の位置が判別ラインＤＬよりも上方に位置すると判断された場合には、この対象物は立体物ＳＢであると判断される。すると、対象物判定部２３から衝突防止手段３０に信号が発信されるので、運転者に危険を知らせることができるし、自動的にブレーキを作動させて衝突を回避させることもできる。
【００５４】
以上のごとく、本実施形態の衝突検出装置１によれば、事前処理画像ＰＡにおいて、車道Ｒに存在する対象物と判別ラインＤＬとの相対的な位置を比較するだけで、対象物が立体物ＳＢであるか平面標識ＴＭであるかを判別することができる。
【００５５】
しかも、対象物が立体物ＳＢであるか平面標識ＴＭであるかの判別は、各事前処理画像ＰＡにおいて、車両Ａからの距離が所定の距離、つまり、距離Ｌ１となっている対象物のみを対象とするので、判別を行う処理対象を少なくでき、判別処理を簡単かつ短時間で行うことができる。
【００５６】
なお、上記例では、判別ラインＤＬとして、事前処理画像ＰＡにおいて車道Ｒと平行な線を設定した。この場合には、判別ラインＤＬを設定する処理が容易である上、対象物の判別の際に、対象物の一部が判別ラインＤＬよりも上方に存在するか否かを判定するだけで判断できる。したがって、対象物が立体物ＳＢであるか平面標識ＴＭであるか判別する処理が非常に簡単となるし、その処理時間も短くすることができる。
しかし、判別ラインＤＬとして、事前処理画像ＰＡにおいて車道Ｒと平行な線としなくてもよい。例えば、粗悪なレンズを使用した場合などでは、レンズのひずみを考慮した形状のラインを用いて計測してもよい。その場合には、システムに使用する機器の価格を抑えることができるので、システム全体の価格を抑えることができるという利点が得られる。
【００５７】
また、上記例では、事前処理画像ＰＡにおける無限遠点、つまり、車道Ｒの消失点ＤＰを基準として、事前処理画像ＰＡ内の車道Ｒ上の各位置から車両Ａまでの実距離Ｌおよび対象物から車両Ａまでの間隔を求めた。この場合には、事前処理画像ＰＡだけから実距離Ｌを求めることができるので、実距離Ｌおよび対象物から車両Ａまでの間隔を、簡単かつ短時間で間隔を算出することができる。
しかし、対象物から車両までの間隔は、対象物に存在する寸法既知な部分（例えばナンバープレート）を検出することによって求めてもよい。すると、撮影されている部分の大きさと画像上での大きさとを比較すれば、対象物から車両までの間隔を算出することができる。その場合には、対象画像から下端を検出しなくても距離が計測できるという利点が得られる。
【００５８】
（判別可能立体物高について）
また、判別ラインＤＬは、撮影手段１０から基準位置RSBまでの距離Ｌ１、撮影手段１０から先端位置RSTまでの距離Ｌ２（つまり、Ｌ１＋DLA）、および車道Ｒから撮影手段１０までの高さＴ１、によって変化する。例えば、車道Ｒから撮影手段１０までの高さＴ１を１ｍで一定とし、基準位置RSBから先端位置RSTまでの距離DLAを５ｍで一定とした場合には、立体物ＳＢとして判別できる高さは、以下のとおりである。
【表２】
【００５９】
なお、表２から分かるように、上記方法によって、車道Ｒ上の全ての立体物ＳＢを検出することは実質的に難しく、距離Ｌ１などの影響により、立体物ＳＢとして判別できる高さが変化する。
例えば、表２に示すように、距離Ｌ１が長くなるほど、対象物を立体物ＳＢとして判別できる高さが低くなるので、立体物ＳＢを平面標識ＴＭと誤認する可能性を低くできる。一方、距離Ｌ１が長くなるほど、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
また、距離DLAは、想定される平面標識ＴＭのうち、最長のものに合わせることが好ましい。しかし、距離DLAが長くなると距離Ｌ２も長くなるので、立体物ＳＢを平面標識ＴＭと誤認する可能性は低くできる一方、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
さらに、車両Ａによって、撮影手段１０が取り付けられる高さＴ１が変化する。例えば、トラック等では高さＴ１が普通車の２倍近い高さとなる場合がある。高さＴ１は、低いほうが立体物ＳＢを平面標識ＴＭと誤認する可能性は低くできる一方、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
【００６０】
以上のごとき事情があるので、判別ラインＤＬを設定する基準となるパラメータ、つまり、撮影手段１０から基準位置RSBまでの距離Ｌ１、撮影手段１０から先端位置RSTまでの距離Ｌ２、および車道Ｒから撮影手段１０までの高さＴ１は、本実施形態の衝突検出装置１を搭載する車両Ａの大きさや走行する道路状況等によって適宜設定することが好ましい。
【００６１】
例えば、普通車であって、一般の公道を走行する場合であれば、距離Ｌ１を１０ｍ程度、距離Ｌ２を２０ｍ程度、高さＴ１を１ｍ程度とすれば、平面標識ＴＭを立体物ＳＢと適切に識別することができる。
【００６２】
（比率による方法）
また、上述した判別ラインＤＬを利用して立体物ＳＢと平面標識ＴＭとを識別する方法とともに、比率を利用した方法も使用して立体物ＳＢと平面標識ＴＭとを識別すれば、両者を識別する精度を高くすることができる。
【００６３】
図４に示すように、対象物に対して車両Ａが接近している場合には、対象物と車両Ａとの距離が近づくにつれ、画像Ｐ内における対象物は大きくなる。
ここで、図４（Ａ）は立体物ＳＢの対象物に車両Ａが接近している場合であり、図４（Ｂ）は平面標識ＴＭの対象物に車両Ａが接近している場合を示している。
【００６４】
図４（Ａ）に示すように、対象物が立体物ＳＢの場合には、画像Ｐ内の対象物は、その幅Txとその高さTyの比率は一定の状態に維持される。
一方、図４（Ｂ）に示すように、対象物が平面標識ＴＭの場合には、画像Ｐ内の対象物は、その幅Txとその高さTyの比率が変化し、幅Txの増加割合に比べて高さTyの増加割合が大きくなる。つまり、幅Txと高さTyの比率が変化する。
したがって、異なる時間に撮影された画像Ｐにおいて、対象物の幅Txと高さTyの比率を算出し、その変動を確認すれば、対象物が立体物ＳＢであるか平面標識ＴＭであるかを識別することができる。
【００６５】
そして、ある画像Ｐにおいて、車両Ａからの距離が所定の距離、つまり、距離Ｌ１となっている対象物について判別ラインＬによる判別を行うとともに、その対象物の幅Txと高さTyの比率が現在の画像Ｐまでにどのように変動したかを確認すれば、判別ラインＬと比率の両方で立体物ＳＢと平面標識ＴＭとを識別することができる。すると、判別ラインＬだけによる判別よりも、より正確な識別を行うことができる。
【００６６】
しかも、各画像Ｐについて、対象物の幅Tx（図４では水平方向長さ）および高さTy（図４では垂直方向長さ）を算出し、その比を算出するだけであるから、画像処理および判別に要する時間は短くできる。したがって、両方法による判別を行なっても、判別時間が長くなることを防ぐことができる。
【００６７】
（他の実施例）
上記例では、判別ラインＬを一本だけ設定する場合を説明したが、判別ラインＬは複数本設定してもよい。この場合、同一の対象物を複数判別することもできるので、識別ミスを防ぐことができる。また、一枚の画像Ｐで、異なる距離に存在する複数の対象物の識別を同時に行うことも可能となる。
【産業上の利用可能性】
【００６８】
本発明の衝突検出装置は、車両に搭載され、前方に存在する障害物などを検出する装置として適している。
【符号の説明】
【００６９】
１ 衝突検出装置
１０ 撮影手段
２０ 路上対象物検出手段
２１ 距離算出部
２２ 判別ライン設定部
２３ 対象物判定部
ＤＬ 判別ライン
Ａ 車両
Ｐ 画像
Ｒ 車道
ＳＢ 立体物
ＴＭ 平面標識
【技術分野】
【０００１】
本発明は、衝突検出装置に関する。さらに詳しくは、車載されたカメラ等の撮影手段によって撮影された車両前方画像に基づいて、前方に存在する障害物などとの衝突を防止する衝突検出装置に関する。
【背景技術】
【０００２】
従来、車両同士の衝突や車両と歩行者との接触などを防ぐ技術として、車両に搭載したカメラによって撮影された画像を利用する技術が開発されている。例えば、画像から車両や歩行者、その他の障害物等の物体をパターン認識やオプティカルフロー等を利用して検出し、検出された物体が何であるか、また、その物体が静止しているものか移動しているものかを把握して、物体と車両との衝突を防ぐ技術が開発されており、多数の特許出願がなされている。
【０００３】
かかる技術では、画像から障害物等の物体、つまり、立体物を的確に検出することが重要であるが、撮影された画像は２次元であるため、路面に描かれた路面標識などを誤って立体物として検出してしまう可能性がある。
この誤検出を防ぐ方法として、２台のカメラを同期させて路面等を撮影し、撮影された対象物が立体物であるか路面標識であるかを識別する方法がある。しかし、かかる方法の場合には、（１）カメラを２台使用するため装置が大型化複雑化する、（２）２台のカメラの撮影タイミングを正確に合わせる制御が必要となる、（３）２台のカメラで撮影された画像から立体物を検出する処理が複雑になるため処理速度が遅くなる、といった問題がある。
【０００４】
そこで、車両に搭載された１台のカメラを利用して、この１台のカメラによって異なる時間に撮影された画像に基づいて、撮影された対象物が立体物であるか路面標識であるかを識別する技術が開発されている（特許文献１〜４、非特許文献１）。
【０００５】
特許文献１には、自動車等の接近物と誤認される可能性がある路面標識、例えばゼブラゾーンなどの路面標識の画像（静止物画像）を予め保存しておき、撮影された画像から検出される接近物と静止物画像とを比較することによって路面標識を検出する技術が開示されている。
【０００６】
また、特許文献２には、画像中において、障害物と推定される対象物（候補対象物）を検出し、この候補対象物が存在する領域の輝度に基づいて、画像中の候補対象物が何であるか、また、候補対象物が路面上の垂直物か否かを判別する技術が開示されている。
特許文献２の技術では、画像中の候補対象物が存在する領域において、水平方向および垂直方向のエッジヒストグラムをそれぞれ算出する。そして、算出された各エッジヒストグラムを、水平方向および垂直方向の参照エッジヒストグラム（記憶されている路上障害物の水平方向および垂直方向のエッジヒストグラム）とそれぞれ比較して、候補対象物を特定する。
この特許文献２の技術では、各エッジヒストグラムと参照エッジヒストグラムとを比較する際、各エッジヒストグラムを横軸方向に拡大縮小することによって、各エッジヒストグラムと参照エッジヒストグラムとの差が最も小さくなる拡大縮小倍率を求めている。そして、水平方向の拡大縮小倍率と垂直方向の拡大縮小倍率が一致する場合には候補対象が路面上の垂直物と判断して候補対象物を特定するが、両者が一致しない場合には候補対象が路面標識やマンホール等と判断している。
【０００７】
さらに、特許文献３、４および非特許文献１では、以下のようにして、画像内の対象物が、路面上の標識（つまり平面）であるかそれともを路上に存在する立体物であるか判断している。
まず、撮影された画像（前画像）において水平線を検出し、その水平線の上部に垂直な候補領域（障害物領域）を設定し、近接する複数の候補領域からなる組を設定する。
ついで、前画像から所定の時間経過後の画像（現在画像）において、前画像において設定された組と対応する組を検出する。
そして、検出された組が、路面または路面と垂直な面（つまり立体物に属する面）のいずれの面に属するかを、画像内における複数の水平線の縦方向の距離差に基づいて判断している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−３１４９８９号公報
【特許文献２】特開２００５−３３２１２０号公報
【特許文献３】特開２００４−３２４６０号公報
【特許文献４】特開２００４−２４６４３６号公報
【非特許文献】
【０００９】
【非特許文献１】Ryuzo Okada et al,“Obstacle Detection Using Projective Invariant and Vanishing Lines”, Proceedings of the Ninth IEEEInternational Conference on Computer Vision,2003
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、走行している車両は移動速度が速いため、衝突を回避するには、撮影された画像の処理をできる限り短時間で行わなければならない。つまり、撮影された画像中の対象物の判断を短時間で行う必要がある。
【００１１】
しかるに、特許文献１の技術は、撮影された対象物が立体物であるか路面標識であるかを識別するためにパターンマッチングの手法を採用しているため判断のための処理時間が長くなる上、予め想定されている平面対象物しか判断することができない。
また、特許文献２の技術も、実質的にはパターンマッチングによる方法を利用して撮影された対象物が立体物であるか路面標識であるかを識別しているため、画像処理に時間がかかる。しかも、対象物を識別する際に、各エッジヒストグラムを拡大縮小する処理が必要となることから、通常のパターンマッチングよりもさらに処理時間が長くなる。
さらに、特許文献３、４および非特許文献１の技術では、水平線を検出することができれば対象物を識別することは可能と考えられるので、予め想定されている平面対象物以外でも識別することは可能と考える。しかし、前画像および現在画像の両画像において水平線を検出できない対象物については適切に識別することができない可能性がある。
【００１２】
本発明は上記事情に鑑み、路上に存在する障害物を迅速かつ適切に識別することができる衝突検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１発明の衝突検出装置は、車両に搭載された、該車両前方を撮影する撮影手段と、該撮影手段によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段と、を備えており、前記路上対象物検出手段は、前記撮影手段によって撮影された画像に基づいて、前記対象物から前記車両までの間隔を算出する距離算出部と、前記撮影手段によって撮影された画像において、前記対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部と、前記間隔が所定の距離となっている前記対象物について、前記判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部と、を備えていることを特徴とする。
第２発明の衝突検出装置は、第１発明において、前記判別ライン設定部によって設定される判別ラインが、路面と平行な水平線であり、前記対象物判定部は、前記対象物の一部が前記判別ラインよりも上方に存在するか否かに基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有していることを特徴とする。
第３発明の衝突検出装置は、第１または第２発明において、前記距離算出部は、前記画像における無限遠点の位置に基づいて前記間隔を算出するものであることを特徴とする。
第４発明の衝突検出装置は、第１、第２または第３発明において、前記撮影手段が、時間連続的に画像を撮影するものであり、前記対象物判定部は、前記時間連続的に撮影された複数枚の画像において、該複数枚の画像中に存在する同一対象物の水平方向長さおよび垂直方向長さを算出し、各画像で得られた水平方向長さと垂直方向長さの比の変化に基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有していることを特徴とする。
【発明の効果】
【００１４】
第１発明によれば、路上に存在する対象物と判別ラインとの相対的な位置を比較するだけであるから、対象物が立体物であるか平面標識であるかを簡単な処理で判別することができる。しかも、各画像において、車両からの距離が所定の距離となっている対象物のみを判別するので、判別を行う処理対象を少なくでき、判別処理を簡単かつ短時間で行うことができる。
第２発明によれば、判別ラインが路面と平行な水平線であるから、判別ラインを設定する処理が容易である。しかも、対象物の一部が判別ラインよりも上方に存在するか否かを判定するだけであるから、対象物が立体物であるか平面標識であるか判別する処理が非常に簡単であり、その処理時間も短くすることができる。
第３発明によれば、画像における無限遠点の位置に基づいて車両から対象物までの間隔を算出するので、簡単かつ短時間で間隔を算出することができる。
第４発明によれば、対象物が立体物であるか平面標識であるかの判別を、判別ラインによる判別に加えて、水平方向長さと垂直方向長さの比の変化による判別も行うので、より正確に対象物を判別することができる。しかも、対象物の水平方向長さおよび垂直方向長さとその比を算出するだけであるから、画像処理および判別に要する時間は短くできる。したがって、両方法による判別を行なっても、判別時間が長くなることを防ぐことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の衝突検出装置１の概略説明図であって、（Ａ）は車両Ａへの搭載状況を説明した図であり、（Ｂ）は衝突検出装置１のブロック図である。
【図２】距離算出部２１による距離算出方法を説明した図である。
【図３】（Ａ）は判別ラインＤＬを利用して立体物と路面標識を判別する判別方法の概略説明図であり、（Ｂ）は判別ライン設定部２２によって判別ラインＤＬが設定された画像ＤＰの概略説明図である。
【図４】対象物ＳＢの水平方向長さおよび垂直方向長さの比を利用して立体物と路面標識を判別する判別方法の概略説明図である。
【発明を実施するための形態】
【００１６】
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の衝突検出装置は、車両に搭載された撮影手段によって撮影された画像に基づいて車両が車両前方に存在する他の車両や障害物等と衝突する可能性を検出する装置であり、車両等の立体物と路上標識などの平面物とを判別でき、立体物と車両との間隔を迅速に検出できるようにしたことに特徴を有している。
【００１７】
なお、本明細書において、平面物とは、路面に描かれた最高速度の標示やＵターン禁止の標示などの路上標識だけでなく、路面上に存在する厚さが薄い板状の物体なども含む概念である。
また、本明細書において、立体物とは、他の車両や、歩行者、路側に設けられた道路標識・看板、道路上の落下物などの車両と衝突する可能性がある物体を意味している。
【００１８】
（本実施形態の衝突検出装置１の説明）
図１に示すように、本実施形態の衝突検出装置１は、撮影手段１０と、路上対象物検出手段２０とを備えたものであり、車両Ａに搭載されている。
【００１９】
（撮影手段１０）
図１に示すように、撮影手段１０は、例えば、ＣＣＤカメラ等の画像を撮影し、外部に撮影した画像のデータ（画像データおよび撮影タイミング等）を送信することができるものである。この撮影手段１０は、車両Ａ前方の車道Ｒの状況が撮影できる位置に配設されている。例えば、車両のフロントウインドウを通して車両Ａ前方の車道Ｒを測定することができるように、バックミラーの近傍に配設することができるが、車両Ａ前方の車道Ｒを測定できる位置であれば、車両Ａにおいて撮影手段１０を配設する位置はとくに限定されない。
【００２０】
なお、撮影手段１０は、平坦な車道Ｒ上に車両Ａを配置したときに、撮影される画像Ｐの横方向が車道Ｒと平行となるように配設されるが、その光軸ＣＡの車道Ｒに対する相対的な角度はとくに限定されない。例えば、撮影手段１０をその光軸ＣＡが車道Ｒに対して平行となるように配設してもよいし、車道Ｒと平行な平行線に対してその光軸ＣＡが下傾するように配設してもよい（図１（Ａ）参照）。
【００２１】
（路上対象物検出手段２０）
路上対象物検出手段２０は、撮影手段１０によって撮影された画像Ｐに基づいて、車両Ａの前方の路上に存在する立体物と車両Ａとの衝突の可能性を判断する機能を有するものである。この路上対象物検出手段２０は、距離算出部２１と、判別ライン設定部２２と、対象物判定部２３と、記憶部２５とを備えている。
【００２２】
なお、路上対象物検出手段２０は、例えば、コンピュータなどの制御装置であり、以下に説明する距離算出部２１、判別ライン設定部２２、対象物判定部２３の機能を実行することができるものである。
また、記憶部２５は、例えば、ハードディスクやメモリなどのように、画像Ｐや路上対象物の検出結果などの情報を記憶しておくことができるものである。この記憶部２５は、撮影手段１０や距離算出部２１、判別ライン設定部２２、対象物判定部２３などから送信されるデータを記憶し、また、距離算出部２１等の要求に応じて記憶しているデータを送信する機能を有している。
さらに、路上対象物検出手段２０は、撮影手段１０の作動（例えば、画像Ｐを撮影するタイミング等）を制御する制御機能を有していてもよい。
【００２３】
（距離算出部２１）
距離算出部２１は、撮影手段１０から送信される画像Ｐのデータに基づいて、画像Ｐ内における車道Ｒの領域の各点と車両Ａとの距離を算出するものである。この距離とは、撮影手段１０と車道Ｒの領域の各点との水平距離、つまり、車道Ｒに沿った方向における撮影手段１０から車道Ｒの領域の各点までの距離であって、画像Ｐ内に撮影されている車道Ｒ上の各点と車両Ａとの実際の距離、つまり、実空間での距離（以下、単に実距離Ｌという）である。
【００２４】
距離算出部２１は、実距離Ｌを以下の方法によって算出する。
【００２５】
撮影手段１０によって撮影された画像Ｐ内には、車道Ｒとこの車道Ｒ以外の画像（例えば、遠方の画像や車道Ｒ側方の画像）が撮影されている。この画像Ｐから、車道Ｒおよび車道Ｒ上に存在するもの（他の車両や歩行者などの障害物、路上標識など）だけを検出する。車道Ｒおよび車道Ｒ上に存在するものの検出は、画像にフィルタリング処理などの公知の処理を施すことによって行うことができる。
【００２６】
車道Ｒおよび車道Ｒ上に存在するものが検出されると、画像Ｐからこれら以外を除去した画像（以下、事前処理画像ＰＡという）を形成する。この事前処理画像ＰＡは、図２（Ａ）に示すような画像となる。
【００２７】
かかる事前処理画像ＰＡでは、車道Ｒは、直線であっても曲っていても、事前処理画像ＰＡ内の一点に収束するように撮影される。この車道Ｒが収束する点を消失点ＤＰとすると、この消失点ＤＰを通る水平線（事前処理画像ＰＡでは左右方向に引いた線）は、実空間では、撮影手段１０が設けられている高さＴ１（つまり、車道Ｒの路面からの高さ）に位置する車道Ｒと平行な平面と概ね一致する。すると、実際の空間において、事前処理画像ＰＡ内の車道Ｒ上の点（例えば、図２（Ａ）のＡ１〜Ａ３）は、車道Ｒと平行な平面（基準面ＨＬ）と、撮影手段１０と車道Ｒ上の各点とを結ぶ線CLAとがなす角度θから算出することができる。そして、事前処理画像ＰＡ内の車道Ｒ上の点を、車両Ａの先端から消失点ＤＰまで順次移動させれば、事前処理画像ＰＡ内の車道Ｒ上の各位置について実距離Ｌを算出することができる。言い換えれば、基準面ＨＬと線CLAとがなす角度θを変化させれば、事前処理画像ＰＡ内の車道Ｒ上の各位置について実距離Ｌを算出することができるのである。
【００２８】
この実距離Ｌは、以下の式によって求めることができる。
Ｌ=Ｔ１×ｔａｎ（９０−θ）
【００２９】
上記式によって実距離Ｌを算出すれば、例えば、高さＴ１が１ｍの場合、角度θと実距離Ｌは以下の関係となる（図２（Ｂ））。
【表１】
【００３０】
なお、事前処理画像ＰＡ内に撮影されている点について、実空間内での線CLAと基準面ＨＬとがなす角度θは、事前処理画像ＰＡ内における消失点ＤＰの位置、撮影手段１０の光軸ＣＡと基準面ＨＬとがなす角度αおよび画角ＶＡ（図１（Ａ）参照）から求めることができる。具体的には、事前処理画像ＰＡ内において、事前処理画像ＰＡ内に撮影されている実空間内での領域、具体的には、角度αと画角ＶＡとから、消失点ＤＰから車両Ａから何ｍ前の位置まで事前処理画像ＰＡ内に撮影されているかを把握できる。すると、事前処理画像ＰＡ内において消失点ＤＰから距離を求めたい点までの長さが把握できれば、実空間内での線CLAと基準面ＨＬとがなす角度θを求めることができる。
【００３１】
また、距離算出部２１は、事前処理画像ＰＡにおいて車道Ｒ上に存在するものを検出すると、検出されたもの（以下、対象物という）までの距離を算出する機能も有している。具体的には、事前処理画像ＰＡにおいて対象物が車道Ｒと接触している点を検出し、この検出された点について、上述した方法を使用することによって車両Ａから対象物までの距離を算出することができる。
なお、対象物が車道Ｒと接触している点は、事前処理画像ＰＡ上において対象物の下端の位置を特定するか、または事前処理画像ＰＡ内の対象物の像に基づいて下端の位置を推定する等の方法により検出することができる。
【００３２】
そして、距離算出部２１は、実距離Ｌと画像Ｐ（または事前処理画像ＰＡ）内における各点の座標のデータ（路上距離情報）、および、検出された対象物の座標（例えば車道Ｒとが接触している位置の座標）および車両Ａまでの距離（対象物距離情報）を、判別ライン設定部２２や対象物判定部２３、記憶部２５に送信する機能を有している。
【００３３】
（判別ライン設定部２２）
判別ライン設定部２２は、距離算出部２１から送信されるデータ（路上距離情報）と、撮影手段１０が撮影した画像Ｐ（または事前処理画像ＰＡ）のデータとに基づいて、事前処理画像ＰＡ内に判別ラインＤＬを設定する機能を有するものである。
なお、画像Ｐのデータは、判別ライン設定部２２に対して撮影手段１０から直接データが送信されてもよいが、判別ライン設定部２２が必要に応じて記憶部２５から記憶されている画像Ｐのデータを読みだしてもよい。
【００３４】
判別ライン設定部２２によって設定される判別ラインＤＬは、事前処理画像ＰＡ内に車道Ｒと平行に設けられる線であり、事前処理画像ＰＡにおいて、車両Ａから所定の距離だけ離れた位置であって車道Ｒから所定の高さに相当する位置に設定される（図３（Ｂ）参照）。
【００３５】
具体的には、判別ラインＤＬは、以下のようにして設定される。
まず、実空間において、撮影手段１０から車道Ｒの走行方向に沿って所定の距離（図３（Ａ）ではＬ１）だけ離れた位置（図３（Ａ）では基準位置RSB）を設定する。ついで、基準位置RSBから車道Ｒの走行方向に沿って所定の距離（図３（Ａ）ではRSL）だけ離れた位置（図３（Ａ）では先端位置RST）を設定し、実空間において、撮影手段１０と先端位置RSTとを結ぶ線分（図３（Ａ）では線分DLA）を算出する。そして、実空間において、基準位置において車道Ｒと垂直に形成される面（評価面ＤＳ）を設定し、この評価面ＤＳと線分DLAとが交差する交差点を求める。最後に、事前処理画像ＰＡにおいてこの交差点と対応する点を算出し、この点を通り車道Ｒと平行な線を判別ラインＤＬとする。
実空間で設定された交差点から事前処理画像ＰＡにおいてこの交差点と対応する点は対象物の下端の位置を画像上で特定する方法または下端の位置を推定する方法と同様の方法で算出することができる。
【００３６】
なお、判別ラインＤＬは、事前処理画像ＰＡ上では、実質的に先端位置RSTを通る車道Ｒと平行な線と一致する。簡便な方法としては、先端位置RSTを通る車道Ｒと平行な線を事前処理画像ＰＡに設定して、判別ラインＤＬとしてもよい。
また、判別ラインＤＬを上記のごとき方法で設定する理由は後述する。
【００３７】
また、基準位置RSBおよび先端位置RSTは全ての画像Ｐにおいて共通のものを事前に設定してもよいし、各画像Ｐから抽出した対象物に基づいて、各画像毎に設定してもよい。共通の基準位置RSBおよび先端位置RSTを事前に設定する場合には、基準位置RSBおよび先端位置RSTは車両Ａからの距離（図３におけるＬ１、Ｌ２）によって規定すれば、基準位置RSBおよび先端位置RSTに基づいて、評価面ＤＳおよび線分DLAを求めることができるので、判別ラインＤＬを設定することができる。
また、各画像Ｐから抽出した対象物に基づいて、各画像毎に基準位置RSBおよび先端位置RSTを設定する場合には、距離算出部２１によって算出された路上距離情報に基づいて、実空間に基準位置RSBおよび先端位置RSTを戻せば、上記方法によって判別ラインＤＬを設定することができる。
【００３８】
また、判別ライン設定部２２は、各事前処理画像ＰＡについて設定された判別ラインＤＬのデータ（例えば、距離等、以下、判別ライン情報という）は、対象物判定部２３や記憶部２５に送信する機能を有している。
【００３９】
（対象物判定部２３）
対象物判定部２３は、判別ライン設定部２２から送信される判別ライン情報と、距離算出部２１で算出された対象物距離情報に基づいて、距離算出部２１において検出された対象物が立体物であるか平面物であるかを判別する機能を有するものである。
具体的には、対象物判定部２３では、対象物と判別ラインＤＬとの相対的な位置に基づいて対象物が立体物であるか平面標識であるかを判別する。
【００４０】
（立体物と平面標識の識別）
以下、対象物判定部２３において、対象物が立体物であるか平面標識であるかを判別する方法を説明する。
【００４１】
図３（Ｂ）に示すように車道Ｒに平面標識ＴＭが描かれている場合には、図３（Ａ）に示すように、平面標識ＴＭにおいて最も車両Ａに近い点を基準位置RSBとし、平面標識ＴＭにおいて最も車両Ａから遠い点を先端位置RSTとする。すると、事前処理画像ＰＡに設定される判別ラインＤＬは、上述した方法によって、図３（Ｂ）のように設定される。つまり、事前処理画像ＰＡ上では、平面標識ＴＭの先端を通るように判別ラインＤＬが設定される。
【００４２】
ここで、図３（Ａ）に示すように、基準位置RSBの位置に立体物ＳＢが存在し、車両Ａから基準位置RSBまでの距離と、車両Ａから立体物ＳＢと車道Ｒの接触点までの距離が同じ距離であるとする。すると、立体物ＳＢがある程度の高さを有する場合には、事前処理画像ＰＡにおいて、立体物ＳＢの一部は判別ラインＤＬよりも上方にも存在する。つまり、立体物ＳＢの高さが、基準位置RSBの位置における線分DLAの高さよりも高い場合には、立体物ＳＢの一部は判別ラインＤＬよりも上方にも存在する。
【００４３】
上記関係に基づけば、事前処理画像ＰＡ内において、対象物下端から車両Ａまでの距離が基準位置RSBまでの距離と同じであって、事前処理画像ＰＡ内の対象物の一部が判別ラインＤＬよりも上方に位置する場合には、この対象物が立体物ＳＢであると判断することができる。
一方、対象物下端から車両Ａまでの距離が基準位置RSBまでの距離と同じであって、事前処理画像ＰＡ内の対象物の全体が判別ラインＤＬよりも下方に位置する場合には、この対象物が平面標識ＴＭであると判断することができる。
【００４４】
なお、対象物判定部２３は上記の方法によって対象物が立体物ＳＢであるか平面標識ＴＭであるかを判断するので、判断する対象物は、原則、車両Ａまでの距離が基準位置RSBの距離と同じものに限定される。
【００４５】
また、対象物判定部２３は、運転者に警告を発する警報装置やブレーキなどを作動させる運転制御装置などの衝突防止手段３０などに接続されていてもよい。この場合、検出された対象物が立体物の場合には、対象物判定部２３から衝突防止手段３０に信号を発信するようにしておけば、走行判断部２３からの信号を受信した衝突防止手段３０がブザーを鳴らしたりインジケータを点滅させたりすることもできるし、衝突回避のためにブレーキなどを作動させることもできる。
【００４６】
（本実施形態の衝突検出装置１の作用効果）
本実施形態の衝突検出装置１が、車両Ａが車両前方に存在する他の車両や障害物等と衝突する可能性を検出する動作について説明する。
【００４７】
以下では、衝突検出装置１において、車両Ａから基準位置RSBまでの距離Ｌ１および車両Ａから先端位置RSTまでの距離Ｌ２を予め設定する場合を説明する。
【００４８】
まず、衝突検出装置１において、距離Ｌ１および距離Ｌ２を設定する。この状態で車両Ａを走行させると、所定の時間毎に画像Ｐが撮影される。例えば、車両Ａが６０ｋｍ／ｈで走行している場合には、画像Ｐは１／３０秒間隔で撮影される。
【００４９】
なお、画像Ｐを撮影する時間間隔は、走行速度に関わらず一定としてもよいが、車両Ａの走行速度によって変化させる方が、他の車両や障害物等を適切に認識できるので、好ましい。例えば、ある画像Ｐを撮影してから次の画像Ｐを撮影するまでの車両Ａの移動距離が１〜２ｍ以下となるような間隔で測定することが好ましい。
【００５０】
撮影された画像Ｐは、距離算出部２１によって、画像Ｐから、車道Ｒおよび車道Ｒ上に存在する対象物が検出され、事前処理画像ＰＡが形成される（図３（Ｂ）参照）。そして、事前処理画像ＰＡを用いて、事前処理画像ＰＡ内の車道Ｒ上の各位置における実距離Ｌが算出されるとともに、検出された対象物から車両Ａまでの距離も算出される。
【００５１】
ついで、距離算出部２１によって算出された実距離Ｌに基づいて、事前処理画像ＰＡには判別ラインＤＬが設定される。そして、判別ラインＤＬが設定されると、車両Ａまでの距離が距離Ｌ１と同じ対象物について、判別ラインＤＬとの相対的な位置が比較される。つまり、事前処理画像ＰＡ内において、対象物の上端の位置が判別ラインＤＬよりも上方に位置するか否かが判断される。
【００５２】
そして、対象物の上端の位置が判別ラインＤＬよりも下方に位置すると判断された場合には、この対象物は平面標識ＴＭであると認識され、つぎの画像Ｐについて処理が行われる。
【００５３】
一方、対象物の上端の位置が判別ラインＤＬよりも上方に位置すると判断された場合には、この対象物は立体物ＳＢであると判断される。すると、対象物判定部２３から衝突防止手段３０に信号が発信されるので、運転者に危険を知らせることができるし、自動的にブレーキを作動させて衝突を回避させることもできる。
【００５４】
以上のごとく、本実施形態の衝突検出装置１によれば、事前処理画像ＰＡにおいて、車道Ｒに存在する対象物と判別ラインＤＬとの相対的な位置を比較するだけで、対象物が立体物ＳＢであるか平面標識ＴＭであるかを判別することができる。
【００５５】
しかも、対象物が立体物ＳＢであるか平面標識ＴＭであるかの判別は、各事前処理画像ＰＡにおいて、車両Ａからの距離が所定の距離、つまり、距離Ｌ１となっている対象物のみを対象とするので、判別を行う処理対象を少なくでき、判別処理を簡単かつ短時間で行うことができる。
【００５６】
なお、上記例では、判別ラインＤＬとして、事前処理画像ＰＡにおいて車道Ｒと平行な線を設定した。この場合には、判別ラインＤＬを設定する処理が容易である上、対象物の判別の際に、対象物の一部が判別ラインＤＬよりも上方に存在するか否かを判定するだけで判断できる。したがって、対象物が立体物ＳＢであるか平面標識ＴＭであるか判別する処理が非常に簡単となるし、その処理時間も短くすることができる。
しかし、判別ラインＤＬとして、事前処理画像ＰＡにおいて車道Ｒと平行な線としなくてもよい。例えば、粗悪なレンズを使用した場合などでは、レンズのひずみを考慮した形状のラインを用いて計測してもよい。その場合には、システムに使用する機器の価格を抑えることができるので、システム全体の価格を抑えることができるという利点が得られる。
【００５７】
また、上記例では、事前処理画像ＰＡにおける無限遠点、つまり、車道Ｒの消失点ＤＰを基準として、事前処理画像ＰＡ内の車道Ｒ上の各位置から車両Ａまでの実距離Ｌおよび対象物から車両Ａまでの間隔を求めた。この場合には、事前処理画像ＰＡだけから実距離Ｌを求めることができるので、実距離Ｌおよび対象物から車両Ａまでの間隔を、簡単かつ短時間で間隔を算出することができる。
しかし、対象物から車両までの間隔は、対象物に存在する寸法既知な部分（例えばナンバープレート）を検出することによって求めてもよい。すると、撮影されている部分の大きさと画像上での大きさとを比較すれば、対象物から車両までの間隔を算出することができる。その場合には、対象画像から下端を検出しなくても距離が計測できるという利点が得られる。
【００５８】
（判別可能立体物高について）
また、判別ラインＤＬは、撮影手段１０から基準位置RSBまでの距離Ｌ１、撮影手段１０から先端位置RSTまでの距離Ｌ２（つまり、Ｌ１＋DLA）、および車道Ｒから撮影手段１０までの高さＴ１、によって変化する。例えば、車道Ｒから撮影手段１０までの高さＴ１を１ｍで一定とし、基準位置RSBから先端位置RSTまでの距離DLAを５ｍで一定とした場合には、立体物ＳＢとして判別できる高さは、以下のとおりである。
【表２】
【００５９】
なお、表２から分かるように、上記方法によって、車道Ｒ上の全ての立体物ＳＢを検出することは実質的に難しく、距離Ｌ１などの影響により、立体物ＳＢとして判別できる高さが変化する。
例えば、表２に示すように、距離Ｌ１が長くなるほど、対象物を立体物ＳＢとして判別できる高さが低くなるので、立体物ＳＢを平面標識ＴＭと誤認する可能性を低くできる。一方、距離Ｌ１が長くなるほど、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
また、距離DLAは、想定される平面標識ＴＭのうち、最長のものに合わせることが好ましい。しかし、距離DLAが長くなると距離Ｌ２も長くなるので、立体物ＳＢを平面標識ＴＭと誤認する可能性は低くできる一方、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
さらに、車両Ａによって、撮影手段１０が取り付けられる高さＴ１が変化する。例えば、トラック等では高さＴ１が普通車の２倍近い高さとなる場合がある。高さＴ１は、低いほうが立体物ＳＢを平面標識ＴＭと誤認する可能性は低くできる一方、車両Ａの上下振動、計測誤差の影響を受けやすくなる。
【００６０】
以上のごとき事情があるので、判別ラインＤＬを設定する基準となるパラメータ、つまり、撮影手段１０から基準位置RSBまでの距離Ｌ１、撮影手段１０から先端位置RSTまでの距離Ｌ２、および車道Ｒから撮影手段１０までの高さＴ１は、本実施形態の衝突検出装置１を搭載する車両Ａの大きさや走行する道路状況等によって適宜設定することが好ましい。
【００６１】
例えば、普通車であって、一般の公道を走行する場合であれば、距離Ｌ１を１０ｍ程度、距離Ｌ２を２０ｍ程度、高さＴ１を１ｍ程度とすれば、平面標識ＴＭを立体物ＳＢと適切に識別することができる。
【００６２】
（比率による方法）
また、上述した判別ラインＤＬを利用して立体物ＳＢと平面標識ＴＭとを識別する方法とともに、比率を利用した方法も使用して立体物ＳＢと平面標識ＴＭとを識別すれば、両者を識別する精度を高くすることができる。
【００６３】
図４に示すように、対象物に対して車両Ａが接近している場合には、対象物と車両Ａとの距離が近づくにつれ、画像Ｐ内における対象物は大きくなる。
ここで、図４（Ａ）は立体物ＳＢの対象物に車両Ａが接近している場合であり、図４（Ｂ）は平面標識ＴＭの対象物に車両Ａが接近している場合を示している。
【００６４】
図４（Ａ）に示すように、対象物が立体物ＳＢの場合には、画像Ｐ内の対象物は、その幅Txとその高さTyの比率は一定の状態に維持される。
一方、図４（Ｂ）に示すように、対象物が平面標識ＴＭの場合には、画像Ｐ内の対象物は、その幅Txとその高さTyの比率が変化し、幅Txの増加割合に比べて高さTyの増加割合が大きくなる。つまり、幅Txと高さTyの比率が変化する。
したがって、異なる時間に撮影された画像Ｐにおいて、対象物の幅Txと高さTyの比率を算出し、その変動を確認すれば、対象物が立体物ＳＢであるか平面標識ＴＭであるかを識別することができる。
【００６５】
そして、ある画像Ｐにおいて、車両Ａからの距離が所定の距離、つまり、距離Ｌ１となっている対象物について判別ラインＬによる判別を行うとともに、その対象物の幅Txと高さTyの比率が現在の画像Ｐまでにどのように変動したかを確認すれば、判別ラインＬと比率の両方で立体物ＳＢと平面標識ＴＭとを識別することができる。すると、判別ラインＬだけによる判別よりも、より正確な識別を行うことができる。
【００６６】
しかも、各画像Ｐについて、対象物の幅Tx（図４では水平方向長さ）および高さTy（図４では垂直方向長さ）を算出し、その比を算出するだけであるから、画像処理および判別に要する時間は短くできる。したがって、両方法による判別を行なっても、判別時間が長くなることを防ぐことができる。
【００６７】
（他の実施例）
上記例では、判別ラインＬを一本だけ設定する場合を説明したが、判別ラインＬは複数本設定してもよい。この場合、同一の対象物を複数判別することもできるので、識別ミスを防ぐことができる。また、一枚の画像Ｐで、異なる距離に存在する複数の対象物の識別を同時に行うことも可能となる。
【産業上の利用可能性】
【００６８】
本発明の衝突検出装置は、車両に搭載され、前方に存在する障害物などを検出する装置として適している。
【符号の説明】
【００６９】
１ 衝突検出装置
１０ 撮影手段
２０ 路上対象物検出手段
２１ 距離算出部
２２ 判別ライン設定部
２３ 対象物判定部
ＤＬ 判別ライン
Ａ 車両
Ｐ 画像
Ｒ 車道
ＳＢ 立体物
ＴＭ 平面標識
【特許請求の範囲】
【請求項１】
車両に搭載された、該車両前方を撮影する撮影手段と、
該撮影手段によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段と、を備えており、
前記路上対象物検出手段は、
前記撮影手段によって撮影された画像に基づいて、前記対象物から前記車両までの間隔を算出する距離算出部と、
前記撮影手段によって撮影された画像において、前記対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部と、
前記間隔が所定の距離となっている前記対象物について、前記判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部と、を備えている
ことを特徴とする衝突検出装置。
【請求項２】
前記判別ライン設定部によって設定される判別ラインが、路面と平行な水平線であり、
前記対象物判定部は、
前記対象物の一部が前記判別ラインよりも上方に存在するか否かに基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有している
ことを特徴とする請求項１記載の衝突検出装置。
【請求項３】
前記距離算出部は、
前記画像における無限遠点の位置に基づいて前記間隔を算出するものである
ことを特徴とする請求項１または２記載の衝突検出装置。
【請求項４】
前記撮影手段が、時間連続的に画像を撮影するものであり、
前記対象物判定部は、
前記時間連続的に撮影された複数枚の画像において、該複数枚の画像中に存在する同一対象物の水平方向長さおよび垂直方向長さを算出し、
各画像で得られた水平方向長さと垂直方向長さの比の変化に基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有している
ことを特徴とする請求項１、２または３記載の衝突検出装置。
【請求項１】
車両に搭載された、該車両前方を撮影する撮影手段と、
該撮影手段によって撮影された画像に基づいて路上に存在する対象物を検出する路上対象物検出手段と、を備えており、
前記路上対象物検出手段は、
前記撮影手段によって撮影された画像に基づいて、前記対象物から前記車両までの間隔を算出する距離算出部と、
前記撮影手段によって撮影された画像において、前記対象物が立体物であるか平面標識であるかを判別する基準となる判別ラインを設定する判別ライン設定部と、
前記間隔が所定の距離となっている前記対象物について、前記判別ラインとの相対的な位置に基づいて立体物であるか平面標識であるかを判別する対象物判定部と、を備えている
ことを特徴とする衝突検出装置。
【請求項２】
前記判別ライン設定部によって設定される判別ラインが、路面と平行な水平線であり、
前記対象物判定部は、
前記対象物の一部が前記判別ラインよりも上方に存在するか否かに基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有している
ことを特徴とする請求項１記載の衝突検出装置。
【請求項３】
前記距離算出部は、
前記画像における無限遠点の位置に基づいて前記間隔を算出するものである
ことを特徴とする請求項１または２記載の衝突検出装置。
【請求項４】
前記撮影手段が、時間連続的に画像を撮影するものであり、
前記対象物判定部は、
前記時間連続的に撮影された複数枚の画像において、該複数枚の画像中に存在する同一対象物の水平方向長さおよび垂直方向長さを算出し、
各画像で得られた水平方向長さと垂直方向長さの比の変化に基づいて該対象物が立体物であるか平面標識であるかを判別する機能を有している
ことを特徴とする請求項１、２または３記載の衝突検出装置。
【図１】
【図４】
【図２】
【図３】
【図４】
【図２】
【図３】
【公開番号】特開２０１３−１１４５８５（Ｐ２０１３−１１４５８５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２３９２（Ｐ２０１１−２６２３９２）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５９９０１６７８５）株式会社シーマイクロ (4)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（５９９０１６７８５）株式会社シーマイクロ (4)
【Ｆターム（参考）】
[ Back to top ]