車両検出装置
【課題】検出した物体の位置データを的確にグループ化して先行車両等の車両を的確に検出することが可能な車両検出装置を提供する。
【解決手段】車両検出装置１は、画像Ｔ上で、統合処理手段１１が画像中の画素を抽出して統合した各画素領域ｇの中から車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出するランプ候補抽出手段１２と、位置検出手段９が検出した位置データをグループ化して生成した各グループＧについて、ランプ候補ｇＬを含むグループＧＬ同士を再グルーピングした後で、全てのグループＧ同士を再グルーピングするグルーピング手段１４とを備え、再グルーピング処理では、ランプ候補ｇＬを含むグループＧＬ同士の再グルーピングを行う際の閾値Δｄｐ等が、その後の全てのグループＧ同士の再グルーピングを行う際の閾値Δｄｐ＊等よりも、再グルーピングし易い閾値とされている。
【解決手段】車両検出装置１は、画像Ｔ上で、統合処理手段１１が画像中の画素を抽出して統合した各画素領域ｇの中から車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出するランプ候補抽出手段１２と、位置検出手段９が検出した位置データをグループ化して生成した各グループＧについて、ランプ候補ｇＬを含むグループＧＬ同士を再グルーピングした後で、全てのグループＧ同士を再グルーピングするグルーピング手段１４とを備え、再グルーピング処理では、ランプ候補ｇＬを含むグループＧＬ同士の再グルーピングを行う際の閾値Δｄｐ等が、その後の全てのグループＧ同士の再グルーピングを行う際の閾値Δｄｐ＊等よりも、再グルーピングし易い閾値とされている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両検出装置に係り、特に、位置検出手段により得られた位置データに基づいて先行車両等の車両を検出する車両検出装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から発射された電波やレーザビームの反射波解析等により、例えばそれらの撮像手段や装置を搭載した車両の周囲に存在する車両等を検出する車両検出装置の開発が進められている（例えば特許文献１等参照）。
【０００３】
車両を含む物体の検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで、実空間上に物体を検出することができる。
【０００４】
例えば特許文献１に記載された手法では、例えば図１８に示すような画像Ｔが撮像されるシーンにおいて、撮像された画像Ｔを含む一対の画像に対してステレオマッチング処理を行うと、画像Ｔの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図１９に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Ｔｚという。
【０００５】
また、レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図１９に示した距離画像Ｔｚと同様の画像状のデータが得られる。以下、距離画像Ｔｚという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。
【０００６】
そして、このようにして得られた距離画像Ｔｚを、例えば図２０に示すように所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割し、各区分Ｄｎごとに、図２１に示すようなヒストグラムＨｎを作成し、当該区分Ｄｎに属する視差ｄｐや距離Ｚの情報を投票する。そして、例えば各ヒストグラムＨｎにおける最頻値が属する階級の階級値を当該区分Ｄｎにおける物体の代表視差ｄｐｎや代表距離Ｚｎとする。これを全区分Ｄｎについて行い、各区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出する。
【０００７】
なお、視差ｄｐと距離Ｚとの関係は、以下のように対応づけられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にＺ軸をとり、左右方向および上下方向にそれぞれＸ軸およびＹ軸をとった場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像ＴZ上の画素の座標（ｉ，ｊ）とは、三角測量の原理に基づいて、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表される座標変換により１対１に対応づけることができる。
【０００８】
なお、上記各式において、ＣＤは一対の撮像手段の間隔、ＰＷは１画素当たりの視野角、ＣＨは一対の撮像手段の取り付け高さ、ＩＶおよびＪＶは正面の無限遠点の距離画像ＴZ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。また、代表視差ｄｐｎは上記（３）式に基づいて代表距離Ｚｎと１対１に対応づけられる。
【０００９】
上記のようにして距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することは、実空間上に置き換えた場合、図２２の平面図に示すように、自車両に搭載された撮像手段Ａによる実空間上の撮像領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。
【００１０】
また、レーダ装置においても同様である。すなわち、図２２における装置Ａをレーダ装置、領域Ｒをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することはレーダ装置Ａによる実空間上の照射領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。
【００１１】
そして、実空間上の各区分空間Ｓｎに、当該区分空間Ｓｎに対応する距離画像Ｔｚの区分Ｄｎにおける代表距離Ｚｎ（算出された代表視差ｄｐｎに１対１に対応づけられる代表距離Ｚｎ）をプロットすると、各代表距離Ｚｎは、例えば図２３に示すようにプロットされる。なお、実際には、区分Ｄｎの数に応じて図２３に示した以上に多数の点が細かくプロットされる。
【００１２】
そして、図２４に示すように、例えばプロットされた各代表距離Ｚｎをそれらの間の距離や方向性（すなわち左右方向（すなわちＸ軸方向）に延在するか距離方向（すなわちＺ軸方向）に延在するか）に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化し、図２５に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。
【００１３】
なお、その際、例えば略左右方向に延在するグループＯと略距離方向に延在するグループＳとが共通のコーナー点Ｃを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。
【００１４】
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Ｔｚに基づいて検出された各物体を、図２６に示すように、撮像手段で撮像された元の画像Ｔ上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像Ｔ上に可視化することができる。このようにして、車両を含む各物体を検出することが可能となる。
【００１５】
また、例えば特許文献２では、２台の車両の位置が接近した場合に、異なる車両を誤って１台の車両として検出しない手法として、上記のような視差や距離の情報を用いずに、画像中のウィンカランプ、ブレーキランプに相当する領域を見出し、車両後部のウィンカランプ位置及びブレーキランプ位置が車両によらずほぼ一定間隔であることを理由にその位置関係から前方の車両を認識する手法が提案されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特許第３３４９０６０号公報
【特許文献２】特開平８−２４１５００号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記の特許文献１に記載された手法（図１８〜図２６参照）を採用した場合、例えば図２７に示すような画像Ｔが撮像されるシーンでは、例えば図２８（Ａ）に示すように、先行車両Ｖahを単独に検出したいところであるが、先行車両Ｖahと生垣Ｈとが隣接して撮像されているために、図２８（Ｂ）に示すように、先行車両Ｖahと生垣Ｈとがグループ化されて１つの物体として検出されてしまう場合がある。
【００１８】
また、例えば図２９に示すような画像Ｔが撮像されるシーンでは、先行車両Ｖahである平ボディの荷台付きトラックの荷台Ｐの後あおりＢの部分の左右のエッジ部分（図中の一点鎖線参照）や、前壁Ｆ（前構造、鳥居ともいう。）やキャブＣａの背面部分に対応する部分（図中の一点鎖線参照）には有効な視差や距離の情報が検出され易いが、平板状で構造（テクスチャ等ともいう。）に乏しい荷台Ｐの後あおりＢの中央部に対応する部分には、有効な視差や距離の情報がほとんど検出されない。
【００１９】
そのため、上記のように距離画像Ｔｚを短冊状の各区分Ｄｎに分割して、区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出してグループ化すると、図３０に示すように、先行車両Ｖahの荷台Ｐの後あおりＢの左側のエッジ部分と右側のエッジ部分とがグループ化されずに、自車両からそれぞれＺｂの距離にある別々の物体として検出され、前壁ＦやキャブＣａの部分が、自車両からＺｆの距離にあるさらに別の物体として検出されてしまう場合がある。
【００２０】
そして、図２７と図２９とが合わさった例えば図３１に示すような画像Ｔが撮像されるシーンでは、図３１や図３２に示すように、先行車両Ｖahの荷台Ｐの後あおりＢの左側のエッジ部分は、右側のエッジ部分とグループ化できないばかりでなく、もはや生垣Ｈと一体化して検出されてしまう。
【００２１】
そのため、先行車両Ｖahと生垣Ｈが撮像されたシーンであるにもかかわらず、生垣Ｈと、前壁ＦやキャブＣａと、荷台Ｐの後あおりＢの右側のエッジ部分とが、それぞれ別の物体として検出されてしまう場合があった。
【００２２】
一方、特許文献２に記載の手法を採用した場合には、例えば自車両が片側複数車線の道路を走行しており、先行車両Ｖahの右隣の車線に例えば同型の車両が走行しているような場合には、図示を省略するが、先行車両Ｖahの右側のウインカランプやブレーキランプと、右隣の車線を走行している車両の左側のウインカランプやブレーキランプとを、１台の車両の左右のウインカランプやブレーキランプとして検出してしまう可能性があり、検出の信頼性に問題があった。
【００２３】
このように、同一の物体が別々の物体として検出されてしまったり、別々の物体（或いは本来物体がない部分）を１つの物体として検出しまうと、誤った物体の情報に基づいて制御を行うことになり、本来、安全走行等に資するべき車両の自動制御において、逆に、事故の危険性が増大してしまう等の問題があった。
【００２４】
なお、以下では、上記のように、一対のカメラ等の撮像手段で得られた画像に基づき、或いはレーダ装置等により得られた物体までの距離を含む物体の位置の情報を、位置データという。
【００２５】
本発明は、このような事情に鑑みてなされたものであり、検出した物体の位置データを的確にグループ化して先行車両等の車両を的確に検出することが可能な車両検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
前記の問題を解決するために、第１の発明は、車両検出装置において、
撮像手段により撮像された画像中の各画素について距離を含む位置データを検出する位置検出手段と、
前記画像上で、所定の輝度以上の輝度を有する画素を抽出し、抽出した前記画素が前記画像上で隣接する場合には前記画素同士を同一の画素領域として統合する統合処理手段と、
前記統合処理手段が統合した前記各画素領域の中から、前記位置検出手段が検出した前記位置データに基づいて、車両のテールランプに対応する可能性がある前記画素領域をランプ候補として抽出するランプ候補抽出手段と、
前記位置検出手段により検出された前記位置データをグループ化し、グループ化して生成した前記各グループについて、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングした後で、全ての前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングするグルーピング手段と、
を備え、
前記グルーピング手段における前記再グルーピング処理では、前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値が、その後の全ての前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値よりも、再グルーピングし易い閾値とされていることを特徴とする。
【００２７】
第２の発明は、第１の発明の車両検出装置において、前記グルーピング手段は、前記再グルーピングの結果、生成した前記グループが、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含むグループである場合には、当該グループを、車両の背面部分に対応するグループとして識別することを特徴とする。
【００２８】
第３の発明は、第１または第２の発明の車両検出装置において、
さらに、前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、前記位置検出手段により検出された前記位置データに基づいて、車両の左右のテールランプを含むテールランプに対応する可能性があるランプ候補の組み合わせをランプペア候補として抽出するランプペア候補抽出手段を備え、
前記グルーピング手段は、前記位置データをグループ化して生成した前記グループ中に、前記ランプペア候補抽出手段により抽出された前記ランプペア候補に属する前記位置データが含まれている場合には、前記ランプペア候補を構成する前記各ランプ候補に属する前記位置データと、前記各ランプ候補に属さない前記位置データとを分離して、それぞれ別のグループとして前記再グルーピング処理を行うことを特徴とする。
【００２９】
第４の発明は、第３の発明の車両検出装置において、
前記ランプペア候補抽出手段は、
前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、任意に２つの前記ランプ候補を選択し、
一方の前記ランプ候補の画素数の、他方の前記ランプ候補の画素数に対する比が所定範囲内であるか、前記一方のランプ候補の前記画像における縦方向の画素数の、前記他方のランプ候補の前記画像における縦方向の画素数に対する差が所定範囲内であるか、前記一方のランプ候補の実空間上での距離および高さがそれぞれ前記他方のランプ候補の実空間上の位置から所定の範囲内にあるか、または、前記一方のランプ候補と前記他方のランプ候補の実空間上での左右方向の間隔が車両１台分に相当する幅以内である場合に、当該２つのランプ候補の組み合わせを前記ランプペア候補として抽出し、
上記の抽出処理を、前記ランプ候補抽出手段により抽出された前記ランプ候補同士における全ての組み合わせについて行うことを特徴とする。
【００３０】
第５の発明は、第３または第４の発明の車両検出装置において、前記ランプペア候補抽出手段は、抽出した前記ランプペア候補としての左右の前記ランプ候補の間に存在し、かつ、前記左右のランプ候補の前記画像中の上側の位置に別の前記ランプ候補が存在する場合には、当該別のランプ候補をハイマウントストップランプとして当該ランプペア候補に追加することを特徴とする。
【００３１】
第６の発明は、第５の発明の車両検出装置において、前記ランプペア候補抽出手段は、ハイマウントストップランプとして追加した前記ランプ候補が、当該ランプ候補が追加された前記ランプペア候補とは別の前記ランプペア候補に属している場合には、前記追加したランプ候補を、追加された前記ランプペア候補から除外するとともに、追加を除外された前記ランプ候補が属する当該別のランプペア候補については前記ランプペア候補としての指定を解除することを特徴とする。
【００３２】
第７の発明は、第１から第６のいずれかの発明の車両検出装置において、前記ランプ候補抽出手段は、前記統合処理手段が統合した前記各画素領域の中から、路面からの高さが所定範囲内にある前記画素領域を前記ランプ候補として抽出することを特徴とする。
【００３３】
第８の発明は、第１から第７のいずれかの発明の車両検出装置において、
さらに、前記位置検出手段により検出された前記各位置データを、前記撮像手段により撮像された前記画像の対応する各画素に割り当てて距離画像を作成する距離画像作成手段を備え、
前記グルーピング手段は、
前記距離画像作成手段により作成された前記距離画像を複数の区分に分割し、
前記区分ごとにヒストグラムを作成し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在する場合には、前記ランプ候補中の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合には、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
算出した前記各代表距離を含む前記位置データを前記グループ化の対象とすることを特徴とする。
【００３４】
第９の発明は、第８の発明の車両検出装置において、前記グルーピング手段は、前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合に、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出する際に、算出した前記代表距離に対応する前記ヒストグラムの階級の度数が所定値未満である前記区分については、算出した前記代表距離を無効とし、当該区分については前記代表距離がないものとして前記グループ化を行うことを特徴とする。
【発明の効果】
【００３５】
第１の発明によれば、ランプ候補に属する位置データを含まないグループを除外して、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応するランプ候補同士の再グルーピングの可否を先に判定し、再グルーピングし易い閾値を用いて再グルーピング処理を行った上で、他のグループとの再グルーピングの可否が判定される。そのため、車両の左右のテールランプＴＬに対応するグループを基準として、車両に対応するグループを検出することが可能となり、位置検出手段により検出された位置データを的確にグループ化して、先行車両を含む車両を的確に検出することが可能となる。
【００３６】
第２の発明によれば、再グルーピングの結果、生成したグループが、車両のテールランプＴＬに対応するランプ候補に属する位置データを含むグループである場合には、当該グループは、テールランプＴＬが設けられた車両に対応するものである可能性が非常に高い。そのため、このようなグループを車両の背面部分に対応するグループとして識別することで、車両を的確に検出することが可能となり、前記発明の効果をより的確に発揮させることが可能となる。
【００３７】
第３の発明によれば、グルーピング手段が位置データをグループ化してグループを生成する際、生成された１つのグループの中に、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データと、そうでない位置データとが含まれてしまう場合がある。そのような場合に、ランプペア候補を構成する各ランプ候補に属する位置データと、各ランプ候補に属さない位置データとを強制的に分離して、当該グループをそれぞれ別のグループとして、一旦、いわばばらばらにする。
【００３８】
そして、その後、改めて再グルーピング処理を行うため、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データからなるグループと、ランプペア候補に属さない位置データからなるグループとを的確に分離して、それぞれ別々のグループとして、他のグループとの再グルーピングの可否が判定されるようになる。
【００３９】
そのため、例えば図３２に示したように、生垣Ｈと車両の一部とが同一のグループとして処理されてしまうことを的確に防止することが可能となり、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データからなるグループと、ランプペア候補に属さない位置データからなるグループとを的確に分離した状態で車両を的確に検出することが可能となり、前記発明の効果をより的確に発揮させることが可能となる。
【００４０】
第４の発明によれば、上記の各条件のうちのいずれかの条件を満たす場合にランプ候補をランプペア候補とすることで、車両の左右のテールランプＴＬ等にそれぞれ対応するランプ候補をランプペア候補として的確に抽出することが可能となり、前記第３の発明の効果をより的確に発揮させることが可能となる。
【００４１】
第５の発明によれば、近年、車両には左右のテールランプＴＬの他に、ハイマウントストップランプが備え付けられている場合があるが、そのような場合にも上記のランプペア候補にハイマウントストップランプに対応するランプ候補を的確に組み込むことが可能となり、車両の左右のテールランプＴＬとハイマウントストップランプにそれぞれ対応するランプ候補をランプペア候補として的確に抽出することが可能となる。そのため、前記第３の発明や第４の発明の効果をより的確に発揮させることが可能となる。
【００４２】
第６の発明によれば、上記の第５の発明のように、一旦ハイマウントストップランプとして追加したランプ候補が、追加されたランプペア候補とは別のランプペア候補に属している場合、画像中で、ランプペア候補の上側にさらに別のランプペア候補が撮像されているという異常な状態になる。
【００４３】
そこで、このような場合に、ハイマウントストップランプとして追加したランプ候補を追加されたランプペア候補から除外することで、ハイマウントストップランプに対応するものではない可能性が高いランプ候補がランプペア候補に追加されることを的確に防止することが可能となり、前記第５の発明の効果をより的確に発揮させることが可能となる。
【００４４】
第７の発明によれば、例えば、路面から高い位置にある画素領域や、路面と同じ高さの画素領域は、街路灯に対応する画素領域であったり、雨で濡れた路面での反射光に対応する画素領域であったりする可能性があり、いずれも車両のテールランプＴＬに対応する画素領域とは言えない。そこで、位置データの路面からの高さに基づき、位置データの路面からの高さが所定範囲内にあるか否かに応じて画素領域を切り分けることで、車両のテールランプに対応する可能性がある画素領域を的確にランプ候補として抽出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００４５】
第８の発明によれば、距離画像上に検出された全ての位置データに対して上記の各処理を行うように構成すると、データ点数が膨大な量になり、処理に時間がかかり、車両検出のリアルタイム性が損なわれる可能性がある。しかし、距離画像を複数の区分Ｄｎに分割し、分割した各区分Ｄｎごとに代表距離を算出し、算出した各代表距離を含む位置データをグループ化の対象とすることで、処理の対象となるデータ点数を低減することが可能となり、前記各発明の効果に加え、車両検出のリアルタイム性を確保することが可能となる。
【００４６】
また、その際、区分Ｄｎ内にランプ候補が存在する場合には、区分Ｄｎ内の他の部分を無視し、ランプ候補中の各画素に割り当てられた距離の情報のみをヒストグラムに投票して当該区分Ｄｎの代表距離を算出するように構成することで、ランプ候補中の各画素の距離の情報のみから算出された代表距離を当該区分Ｄｎの代表距離として優先的に算出することが可能となる。
【００４７】
そのため、区分Ｄｎ内にランプ候補が存在する場合には、区分Ｄｎ内に存在するランプ候補以外の部分の画素に割り当てられた距離の情報ではなく、車両のテールランプＴＬに対応するランプ候補における代表距離を、当該区分Ｄｎの代表距離として確実に抽出することが可能となる。
【００４８】
第９の発明によれば、区分Ｄｎ内にランプ候補が存在しない場合に、算出した代表距離に対応するヒストグラムの階級の度数が所定値未満である区分Ｄｎについては、算出した代表距離を無効として、当該区分Ｄｎについては代表距離がないものとして扱うように構成することで、信頼性が低い代表距離を採用して車両検出の信頼性が低下することを的確に防止することが可能となり、前記第８の発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本実施形態に係る車両検出装置の構成を示すブロック図である。
【図２】基準画像における水平ラインを説明する図である。
【図３】統合処理手段における統合処理の処理手順を示すフローチャートである。
【図４】統合処理手段における統合処理の処理手順を示すフローチャートである。
【図５】（Ａ）入力された注目画素およびその左に隣接する画素、および（Ｂ）左に隣接する画素が画素領域に属している例を説明する図である。
【図６】（Ａ）入力された注目画素およびその下に隣接する画素、および（Ｂ）下に隣接する画素が画素領域に属している例を説明する図である。
【図７】（Ａ）左や下に隣接する画素がそれぞれ属する各グループの例を説明する図であり、（Ｂ）各グループが一の画素と統合されて１つのグループになる例を説明する図である。
【図８】ランプペア候補抽出手段におけるランプペア候補の抽出処理の処理手順を示すフローチャートである。
【図９】２つのランプ候補の実空間上での左右方向の間隔の算出の仕方の例を説明する図である。
【図１０】抽出したランプペア候補としての左右のランプ候補の間に存在し、かつ、左右のランプ候補の上側の位置に存在する別のランプ候補の例を示す図である。
【図１１】ハイマウントストップランプとして追加されたランプ候補が別のランプペア候補に属している状態の例を表す図である。
【図１２】図１１においてハイマウントストップランプとして追加されたランプ候補が元のランプペア候補から除外された状態等を表す図である。
【図１３】グルーピング手段におけるグループ化処理の処理手順を示すフローチャートである。
【図１４】グルーピング手段における再グルーピング処理の処理手順を示すフローチャートである。
【図１５】左側のテールランプと生垣とが含まれていた１つのグループが左側のテールランプを含むグループと生垣を含むグループＧとに分離された状態を表す図である。
【図１６】図１５の状態に対して再グルーピング処理を行うことで左右のテールランプに対応する各グループが新たな１つのグループとされた状態を表す図である。
【図１７】自車両の走行軌跡に基づいて先行車両が特定された状態を表す図である。
【図１８】撮像手段で撮像される画像の例を示す図である。
【図１９】図１８の画像に基づいて作成された距離画像を表す図である。
【図２０】複数の区分に分割された距離画像の例を表す図である。
【図２１】区分Ｄｎごとに作成されたヒストグラムを表す図である。
【図２２】距離画像を分割する複数の区分を実空間上に置き換えた場合に各区分に対応する複数の区分空間を説明する図である。
【図２３】各区分ごとの代表距離を実空間上にプロットした図である。
【図２４】図２３の各点のグループ化を説明する図である。
【図２５】図２４の各グループに属する各点を直線近似して得られる物体を表す図である。
【図２６】検出された各物体を基準画像上で矩形状の枠線に包囲して表した図である。
【図２７】先行車両と生垣とが隣接して撮像されている画像を表す図である。
【図２８】（Ａ）先行車両のみが検出される状態を説明する図であり、（Ｂ）先行車両と生垣とが１つの物体として検出される状態を表す図である。
【図２９】先行車両として平ボディの荷台付きトラックが撮影された画像を表す図である。
【図３０】図２９の場合に先行車両の荷台の後あおりの左右の各エッジ部分がグループ化されず、左右の各エッジ部分と前壁等の部分とがそれぞれ別の物体として検出される状態を説明する図である。
【図３１】先行車両としての平ボディの荷台付きトラックと生垣とが隣接して撮像されている画像を表す図である。
【図３２】図３１の場合に先行車両の荷台の後あおりの左側のエッジ部分が生垣と一体化して検出される状態を説明する図である。
【発明を実施するための形態】
【００５０】
以下、本発明に係る車両検出装置の実施の形態について、図面を参照して説明する。
【００５１】
なお、本実施形態では、撮像手段２として２台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや３台以上のカメラ等で構成することも可能である。
【００５２】
本実施形態に係る車両検出装置１は、図１に示すように、主に、撮像手段２や変換手段３、画像処理手段６等で構成される位置検出手段９と、統合処理手段１１やランプ候補抽出手段１２等を含む処理部１０とで構成されている。
【００５３】
位置検出手段９は、自車両の周囲を撮像する撮像手段２を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離や高さ、左右方向の位置を含む物体の実空間上の位置に対応する位置データを検出するようになっている。
【００５４】
本実施形態では、位置検出手段９は、本願出願人により先に提出された前記特許文献１や特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車両検出装置等をベースに構成されている。以下、簡単に説明する。
【００５５】
位置検出手段９は、図１に示すように、車幅方向（すなわち左右方向）に一定の距離をあけて配置されＣＣＤカメラで構成された一対のメインカメラ２ａおよびサブカメラ２ｂを備える撮像手段２で自車両の周囲を撮像して得られた一対の撮像画像を変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換し、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ５に格納するとともに、処理部１０に送信するようになっている。
【００５６】
なお、例えば撮像手段２のメインカメラ２ａでは、前述した図１８等に示したような画像Ｔ（以下、基準画像Ｔという。）が撮像され、サブカメラ２ｂでは、基準画像Ｔと同様の画像ではあるが、メインカメラ２ａから車幅方向に一定の距離だけ離れた位置から撮像された画像（図示省略。以下、比較画像という。）が撮像される。
【００５７】
また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの輝度Ｄが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【００５８】
さらに、本実施形態では、撮像手段２のメインカメラ２ａやサブカメラ２ｂで基準画像Ｔや比較画像を撮像する場合、図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像した順に基準画像Ｔと比較画像Ｔｃの各画素の輝度Ｄをそれぞれ変換手段３に順次送信するようになっている。
【００５９】
画像補正部４で画像補正が行われた一対の撮像画像は、画像処理手段６にも送信される。そして、画像処理手段６のイメージプロセッサ７で、メインカメラ２ａで撮像した基準画像Ｔが複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ２ｂで撮像した比較画像の対応する画素ブロックがステレオマッチング処理により見出され、前述したように、各画素ブロックごとに視差ｄｐが算出される。
【００６０】
この視差ｄｐの算出については、前記各公報に詳述されている。また、この視差ｄｐと画素ブロックの基準画像Ｔ上の座標（ｉ，ｊ）が、実空間上の点（Ｘ，Ｙ，Ｚ）と上記（１）〜（３）式を介して１対１に対応付けられることは前述した通りである。また、本実施形態では、この視差ｄｐと座標（ｉ，ｊ）から構成されるデータ（ｉ，ｊ，ｄｐ）を位置データとして扱うように構成されているが、例えば、データ（ｉ，ｊ，ｄｐ）を上記（１）〜（３）式に代入して算出した実空間上の位置（Ｘ，Ｙ，Ｚ）を位置データとして扱うように構成することも可能である。
【００６１】
画像処理手段６は、上記のように画素ブロックごとに算出した視差ｄｐを基準画像Ｔの対応する各画素に割り当てて前述した距離画像Ｔｚ（例えば図１９参照）を作成し、作成した距離画像Ｔｚを距離データメモリ８に格納するとともに、距離画像Ｔｚを処理部１０に送信するようになっている。
【００６２】
すなわち、本実施形態では、画像処理手段６が距離画像作成手段に相当する。なお、距離画像Ｔｚは、距離の情報としての視差ｄｐを有するものであるが、距離画像Ｔｚには、図１９に示したように座標（ｉ，ｊ）の情報も含まれており、距離画像Ｔｚは、位置検出手段９が検出した視差ｄｐを含む位置データ（ｉ，ｊ，ｄｐ）を基準画像Ｔに割り当てたものに相当する。
【００６３】
なお、図示を省略するが、本実施形態の他にも、自車両に対する各車両の距離Ｚ（或いは視差ｄｐ）を含む位置データの測定については、例えば自車両前方にレーザ光Ｌや赤外線等を照射してその反射光の情報に基づいて物体までの距離Ｚや物体の実空間上の位置（Ｘ，Ｙ，Ｚ）等を測定するレーダ装置等で構成することも可能であり、この場合は、レーダ装置等が距離検出手段９ということになる。このように、距離データを検出する距離検出手段９の構成は、特定の構成に限定されない。
【００６４】
しかし、車両検出装置１は、距離検出手段９としてレーダ装置等を用いる場合でも、撮像手段２を備えるように構成される。そして、この場合、撮像手段２を単数のカメラで構成してもよく、その場合、距離画像作成手段としての画像処理手段６は、距離検出手段９としてのレーダ装置等で検出された位置データを、撮像手段２で撮像された画像中の各画素に割り当てて、前述した距離画像Ｔｚを作成するように構成される。
【００６５】
処理部１０は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部１０は、統合処理手段１１やランプ候補抽出手段１２、ランプペア候補抽出手段１３、グルーピング手段１４を備えており、本実施形態では、さらに、図示しないメモリを備えている。
【００６６】
なお、処理部１０において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部１０に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑからの測定値が入力されるようになっている。
【００６７】
以下、処理部１０の各手段における処理について説明するとともに、本実施形態に係る車両検出装置１の作用について説明する。
【００６８】
統合処理手段１１は、撮像手段２のメインカメラ２ａにより撮像された基準画像Ｔ上で、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬの明るさに相当する所定の輝度以上の輝度を有する画素を抽出し、抽出した画素が基準画像Ｔ上で隣接する場合にはそれらの画素同士を同一の画素領域として統合するようになっている。なお、この統合処理手段１１における統合処理では、前述した比較画像は用いられない。
【００６９】
以下、この統合処理手段１１における統合処理を、図３および図４に示すフローチャート等を用いて具体的に説明する。
【００７０】
なお、以下では、例えば図２に示した基準画像Ｔにおける画素を、基準画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの輝度Ｄを、輝度Ｄi,jのように表す。
【００７１】
統合処理手段１１は、撮像手段２により撮像が開始されると（ステップＳ１）、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の輝度Ｄ0,0の処理部１０への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の輝度Ｄ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。
【００７２】
統合処理手段１１は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,jを水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。
【００７３】
また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインｊまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。
【００７４】
次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１１における処理（図４のステップＳ９以降）について説明する。
【００７５】
統合処理手段１１は、まず、注目画素ｐi,jが所定の輝度Ｄth以上の輝度を有する画素であるか否かを判定し（ステップＳ９）、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth以上であれば（ステップＳ９；ＹＥＳ）、注目画素ｐi,jを抽出する。
【００７６】
この場合、上記の所定の輝度Ｄthは、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬを検出することができる輝度が設定される。すなわち、輝度Ｄとしてとり得る値の範囲が例えば０〜２５５の場合には、所定の輝度Ｄthは例えば２４０に設定される。
【００７７】
なお、以下、このように抽出された画素を抽出画素という。また、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth未満であれば（ステップＳ９；ＮＯ）、図３のステップＳ４の処理に移行する。
【００７８】
統合処理手段１１は、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth以上であると判定して注目画素ｐi,jを抽出すると（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に移行する。そして、図５（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの左に隣接する画素ｐi-1,jが、抽出画素であるか否かを判定する（ステップＳ１０）。
【００７９】
注目画素ｐi,jの左に隣接する画素ｐi-1,jが抽出画素である場合には（ステップＳ１０；ＹＥＳ）、統合処理手段１１は、続いて、ステップＳ１１の判定処理に移行し、図６（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であるか否かを判定する（ステップＳ１１）。
【００８０】
そして、統合処理手段１１は、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素でなければ（ステップＳ１１；ＮＯ）、ステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jは抽出画素であったから、注目画素ｐi,jとその左に隣接する画素ｐi-1,jとを１つの画素領域ｇに統合する（ステップＳ１２）。
【００８１】
その際、図５（Ａ）に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jが統合されて、左右に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図５（Ｂ）に示すように、左に隣接する画素ｐi-1,jが既に画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００８２】
また、統合処理手段１１は、ステップＳ１１の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1が抽出画素であれば（ステップＳ１１；ＹＥＳ）、ステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jも抽出画素であったから、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合する（ステップＳ１３）。
【００８３】
その際、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと下および左に隣接する画素ｐi,j-1、ｐi-1,jが統合されて、３つの画素からなる画素領域ｇが新たに形成される。
【００８４】
また、例えば図７（Ａ）に示すように、左に隣接する画素ｐi-1,jが画素領域ｇ１に属し、下に隣接する画素ｐi,j-1が他の画素領域ｇ２に属している場合、注目画素ｐi,jが下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合されると（ステップＳ１３）、図７（Ｂ）に示すように、注目画素ｐi,jを介して画素領域ｇ１と画素領域ｇ２とが統合されて１つの画素領域ｇとなる。
【００８５】
一方、上記のステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jが抽出画素でない場合には（ステップＳ１０；ＮＯ）、統合処理手段１１は、続いて、ステップＳ１４の判定処理に移行し、図６（Ａ）に示したように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であるか否かを判定する（ステップＳ１４）。
【００８６】
そして、統合処理手段１１は、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であれば（ステップＳ１４；ＹＥＳ）、注目画素ｐi,jとその下に隣接する画素ｐi,j-1とを１つの画素領域ｇに統合する（ステップＳ１５）。
【００８７】
その際、図６（Ａ）に示したように、下に隣接する画素ｐi,j-1が他の画素と統合されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1が統合されて、上下に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図６（Ｂ）に示すように、下に隣接する画素ｐi,j-1が既に画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００８８】
また、統合処理手段１１は、ステップＳ１４の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1が抽出画素でなければ（ステップＳ１４；ＮＯ）、今回、新たに抽出された注目画素ｐi,jを新たな画素領域ｇとして登録する（ステップＳ１６）。
【００８９】
統合処理手段１１は、ステップＳ１２、Ｓ１３、Ｓ１５の処理で注目画素ｐi,jを隣接する画素ｐと統合したり、或いは、ステップＳ１６の処理で注目画素ｐi,jを新たな画素領域ｇとして登録すると、画素領域ｇの画素数を更新し、画素領域ｇの左端ｇleft、右端ｇrightの画素の各座標や上端ｇtop、下端ｇbottomの画素の各座標、中心の座標（ｇｉ，ｇｊ）等に変更があれば更新する。
【００９０】
その際、画素領域ｇの中心の座標（ｇｉ，ｇｊ）のうち、ｇｉは画素領域ｇの左端ｇleftと右端ｇrightの中間点のｉ座標、ｇｊは画素領域ｇの上端ｇtopと下端ｇbottomの中間点のｊ座標として算出される。
【００９１】
また、例えば図７（Ｂ）に示したように、複数の画素領域ｇ１、ｇ２が統合されて１つの画素領域ｇとされた場合には、１つに統合された画素領域ｇの画素領域番号を、統合の対象となった複数の画素領域ｇ１、ｇ２の各画素領域番号のうち例えば最も小さい番号を選択する等して更新する（ステップＳ１７）。
【００９２】
そして、統合処理手段１１は、ステップＳ１７の処理を終了すると、図３のステップＳ４の判定処理以降の処理を続行する。そして、以上の処理が、基準画像Ｔの最上段の水平ラインｊまで終了すると統合処理を終了するようになっている。
【００９３】
ランプ候補抽出手段１２（図１参照）は、上記のようにして統合処理手段１１が統合した各画素領域ｇの中から、位置検出手段９が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出するようになっている。
【００９４】
すなわち、統合処理手段１１が基準画像Ｔ上で統合した画素領域ｇは、上記のように、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬの明るさに相当する所定の輝度Ｄth以上の輝度Ｄを有する画素を抽出して統合されたものであるが、例えば路面から高い位置にある街路灯に対応する画素領域ｇであったり、或いは、例えば雨で濡れた路面での反射光に対応する画素領域ｇであったりする可能性がある。
【００９５】
そこで、本実施形態では、ランプ候補抽出手段１２は、統合処理手段１１が上記のようにして統合した各画素領域ｇについて、各画素領域ｇの路面からの高さｙが、車両のテールランプＴＬが存在する高さｙの範囲内にあるか否かを判定するようになっている。この範囲は、例えば路面から１０ｃｍ〜３ｍの範囲に設定される。
【００９６】
画素領域ｇの路面からの高さｙは、例えば、上記のようにして更新した画素領域ｇの上端の座標ｇtopや下端の座標ｇbottom、或いは中心のｊ座標ｇｊ（図４のステップＳ１７参照）や、基準画像Ｔに対応する距離画像Ｔｚから割り出した視差ｄｐを上記（３）式や（２）式に代入して算出される実空間上の高さＹとして算出することができる。
【００９７】
また、例えば、処理部１０内に、路面自体の高さを検出する路面検出手段を別に設け、上記の実空間上の高さＹから路面自体の高さを減算した値を画素領域ｇの路面からの高さｙとするように構成することも可能である。
【００９８】
そして、ランプ候補抽出手段１２は、各画素領域ｇについて上記の判定を行い、画素領域ｇの路面からの高さｙが上記の設定範囲内にあれば、その画素領域ｇをランプ候補ｇＬとして抽出するようになっている。このようにして、画素領域ｇは、ランプ候補ｇＬと、それ以外の画素領域ｇとに分類される。
【００９９】
なお、このランプ候補抽出手段１２におけるランプ候補ｇＬの抽出処理を、上記のように、統合処理手段１１が全ての画素領域ｇを統合し終えた後で行うように構成してもよく、また、統合処理手段１１が統合処理を行っている最中に行うように構成することも可能である。すなわち、統合処理手段１１が注目画素ｐi,jを画素領域ｇに統合したり（図４のステップＳ１２、Ｓ１３、Ｓ１５参照）、新たな画素領域ｇとして登録（ステップＳ１６参照）するごとにランプ候補抽出手段１２が行うように構成することも可能である。
【０１００】
ランプペア候補抽出手段１３（図１参照）は、上記のようにしてランプ候補抽出手段１２により抽出された各ランプ候補ｇＬの中から、位置検出手段９により検出された位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、車両の左右のテールランプＴＬに対応する可能性があるランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている。
【０１０１】
また、近年、車両の背面部分に、ウインカランプやブレーキランプ等の左右のテールランプＴＬの他に、左右のテールランプの左右方向の中間部分の上部にハイマウントストップランプが設けられた車両が増えているため、ランプペア候補抽出手段１３は、このようにハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補ｇＬも、左右のテールランプＴＬに対応するランプ候補ｇＬの組み合わせであるランプペア候補ＰｇＬに追加するようになっている。
【０１０２】
以下、本実施形態でのランプペア候補抽出手段１３におけるランプペア候補ＰｇＬの抽出処理について、図８に示すフローチャートを用いて説明する。
【０１０３】
ランプペア候補抽出手段１３は、全てのランプ候補ｇＬの組み合わせについて下記の判定処理を行っていなければ（ステップＳ２０；ＮＯ）、ランプ候補抽出手段１２により抽出された各ランプ候補ｇＬの中から任意に２つのランプ候補ｇＬを選択する（ステップＳ２１）。そして、選択した２つのランプ候補ｇＬが、車両の左右のテールランプＴＬとしてふさわしい条件を満たすか否かを判定する（ステップＳ２２）。
【０１０４】
具体的には、ステップＳ２２の判定処理において、ランプペア候補抽出手段１３は、選択した２つのランプ候補ｇＬのうちの一方のランプ候補ｇＬの画素数の、他方のランプ候補ｇＬの画素数に対する比が、例えば０．５倍〜１．５倍等の所定範囲内であるか否かを判定する。
【０１０５】
また、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬの基準画像Ｔにおける縦方向の画素数（例えば当該ランプ候補ｇＬとしての画素領域ｇの前述した上端の座標ｇtopと下端の座標ｇbottomの差）の、他方のランプ候補ｇＬの基準画像Ｔにおける縦方向の画素数に対する差が、例えば１０画素以内等の所定範囲内であるか否かを判定する。
【０１０６】
ランプ候補ｇＬの大きさすなわち基準画像Ｔ中における各画素数や、縦方向の大きさが違い過ぎる場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の２つの条件は、このような場合を排除するための条件である。
【０１０７】
また、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬと他方のランプ候補ｇＬの実空間上での左右方向の間隔が、車両１台分に相当する例えば２．５ｍ等の幅以内であるか否かを判定する。一方のランプ候補ｇＬと他方のランプ候補ｇＬの実空間上での左右方向の間隔は、例えば図９に示すように、右側のランプ候補ｇＬの右端ｇrightの画素に対応する実空間上のＸ座標Ｘｒと、左側のランプ候補ｇＬの左端ｇleftの画素に対応する実空間上のＸ座標Ｘｌとの差分ΔＸとして算出される。
【０１０８】
ランプ候補ｇＬ同士の左右方向の間隔ΔＸが車両１台分に相当する幅よりもかけ離れて大きい場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
【０１０９】
さらに、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬの実空間上での距離Ｚ（視差ｄｐに対応する。）および高さＹが、それぞれ他方のランプ候補の実空間上の位置から所定の範囲内にあるか否かを判定する。例えば、一方のランプ候補ｇＬの実空間上での距離Ｚや高さＹが、他方のランプ候補の実空間上の距離Ｚや高さＹの０．８倍〜１．２倍等の範囲内であるか否かを判定する。距離Ｚと高さＹのいずれかが上記の所定の範囲内にない場合には、条件を満たすとは判定されない。
【０１１０】
ランプ候補ｇＬ同士の距離Ｚや高さＹの差があまりにも大きい場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
【０１１１】
例えば、前述したように、自車両が片側複数車線の道路を走行しており先行車両Ｖahの右隣の車線に例えば同型の車両が走行しているような場合に、基準画像Ｔ上で、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応する４つのランプ候補ｇＬが横方向に並ぶ場合があり、従来の特許文献２に記載の手法を採用した場合には、先行車両Ｖahの右側のテールランプＴＬと右隣の車線を走行している車両の左側のテールランプＴＬとを１台の車両の左右のテールランプＴＬとして検出してしまう可能性があった。
【０１１２】
しかし、本実施形態では、このように基準画像Ｔ上で４つのランプ候補ｇＬが横方向に並ぶ場合でも、位置検出手段９が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、先行車両Ｖahの右側のテールランプＴＬと右隣の車両の左側のテールランプＴＬとの視差ｄｐや実空間上での距離Ｚが有意に異なる値である場合には、ランプペア候補抽出手段１３によりランプペア候補ＰｇＬとしては抽出されない。
【０１１３】
このように、本実施形態では、上記のような場合でも、それぞれ他の車両の背面部分に設けられた各テールランプＴＬを、誤って１台の車両の左右のテールランプＴＬとして検出する可能性を低減することが可能となる。
【０１１４】
本実施形態では、ランプペア候補抽出手段１３は、選択した２つのランプ候補ｇＬが、上記の各条件のうちのいずれかの条件を満たす場合に（ステップＳ２２；ＹＥＳ）当該２つのランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている（ステップＳ２３）。そして、このランプペア候補ＰｇＬの抽出処理を、ランプ候補抽出手段１２により抽出されたランプ候補ｇＬ同士における全ての組み合わせについて行う（ステップＳ２０；ＮＯ）。
【０１１５】
また、前述したように、車両によっては、ハイマウントストップランプが設けられている場合があるため、ランプペア候補抽出手段１３は、引き続き、ハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補ｇＬも、左右のテールランプＴＬに対応するランプ候補ｇＬの組み合わせであるランプペア候補ＰｇＬに追加するようになっている。
【０１１６】
具体的には、ランプペア候補抽出手段１３は、上記のランプペア候補ＰｇＬの抽出処理をランプ候補ｇＬ同士の全ての組み合わせについて行うと（ステップＳ２０；ＹＥＳ）、続いて、抽出した各ランプペア候補ＰｇＬについて、図１０に示すように、抽出したランプペア候補ＰｇＬとしての左右のランプ候補ｇＬの間に存在し、かつ、左右のランプ候補ｇＬの基準画像Ｔにおける上側の位置に、別のランプ候補ｇＬが存在するか否かを判定する（ステップＳ２４）。
【０１１７】
そして、図１０に示すように、上記の位置に別のランプ候補ｇＬが存在する場合には（ステップＳ２４；ＹＥＳ）、当該別のランプ候補ｇＬをハイマウントストップランプとして、左右のランプ候補ｇＬからなる当該ランプペア候補ＰｇＬに追加するようになっている（ステップＳ２５）。
【０１１８】
しかし、ハイマウントストップランプとして追加したランプ候補ｇＬが、図１１に示すように、追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属している場合、基準画像Ｔ中で、当該ランプ候補ｇＬが追加される前のランプペア候補ＰｇＬ０の上側に別のランプペア候補ＰｇＬ２が撮像されているという異常な状態になっている。
【０１１９】
そこで、本実施形態では、ランプペア候補抽出手段１３は、このように、ハイマウントストップランプとして追加したランプ候補ｇＬが、当該ランプ候補ｇＬが追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属しているか否かを判定する（ステップＳ２６）。
【０１２０】
そして、追加したランプ候補ｇＬが、当該ランプ候補ｇＬが追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属している場合には（ステップＳ２６；ＹＥＳ）、図１２に示すように、追加したランプ候補ｇＬを、追加された元のランプペア候補ＰｇＬ１から除外するようになっている（ステップＳ２７）。この場合、図１１に示したランプペア候補ＰｇＬ１は、図１２に示すように、結局、元のランプペア候補ＰｇＬ０に戻る。
【０１２１】
そして、本実施形態では、この場合、ランプペア候補抽出手段１３は、さらに、追加を除外されたランプ候補ｇＬが属する当該別のランプペア候補ＰｇＬ２（図１１参照）については、図１２に示すように、ランプペア候補としての指定を解除するようになっている。また、追加を除外されたランプ候補ｇＬについては、ランプ候補としての指定も解除するように構成することも可能である。
【０１２２】
ランプペア候補抽出手段１３は、上記のステップ２４からステップＳ２７までの処理を、抽出した全てのランプペア候補ＰｇＬについて行うようになっている（ステップＳ２８）。
【０１２３】
本実施形態では、上記のように、ランプ候補抽出手段１２は、前述したように統合処理手段１１が統合した各画素領域ｇの中から車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出し、また、ランプペア候補抽出手段１３は、ランプ候補抽出手段１２が抽出した各ランプ候補ｇＬの中から、車両の左右のテールランプＴＬやハイマウントストップランプに対応する可能性があるランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている。
【０１２４】
グルーピング手段１４（図１参照）は、本実施形態では、基本的には前述した図２０〜図２６に示した特許文献１に記載の手法をベースとして位置検出手段により検出された位置データをグループ化するように構成されているが、上記のランプ候補抽出手段１２やランプペア候補抽出手段１３における処理結果、すなわちランプ候補やランプペア候補の情報を用いて再グルーピング処理を行うように構成されている点で異なる処理になっている。
【０１２５】
本実施形態では、グルーピング手段１４は、位置検出手段９が検出した位置データをグループ化し、グループ化して生成した位置データを含む各グループＧについて、ランプ候補抽出手段１３により抽出されたランプ候補ｇＬに属する位置データを含むグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループ同士を再グルーピングする。ランプ候補ｇＬに属する位置データを含むグループＧをＧＬと表す。
【０１２６】
そして、その後で、ランプ候補ｇＬに属さない位置データを含むグループＧを含む全てのグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧ同士を再グルーピングするようにして、位置データを含むグループ化処理およびグループの再グルーピング処理を行うようになっている。
【０１２７】
その際、このグルーピング手段１４における再グルーピング処理では、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングを行う際の位置データに関する閾値が、その後の全てのグループＧ同士の再グルーピングを行う際の閾値よりも、再グルーピングし易い閾値とされるようになっている。
【０１２８】
なお、グループ化とグルーピングとは、本来、同じ意味であるが、本発明では、位置検出手段９が検出した位置データをグループ化する処理を、グループ化処理といい、グループ化処理により生成されたグループ同士を再びグループ化する処理を、再グルーピング処理というものとする。
【０１２９】
以下、本実施形態でのグルーピング手段１４におけるグループ化処理および再グルーピング処理について、図１３および図１４に示すフローチャートを用いて説明する。
【０１３０】
本実施形態では、グルーピング手段１４は、前述した図２０に示したように、まず、距離画像作成手段である画像処理手段６（図１参照）が作成した距離画像Ｔｚを、所定の画素幅で縦方向に延在する短冊状の複数の区分Ｄｎに分割し（ステップＳ４０）、図２１に示したように、各区分ＤｎごとにヒストグラムＨｎを作成する（ステップＳ４１）。
【０１３１】
従来の特許文献１に記載の手法では、ここで、区分Ｄｎに属する各画素に割り当てられた視差ｄｐや距離Ｚを、当該区分Ｄｎに対応するヒストグラムＨｎに投票するように構成されている。しかし、本実施形態では、グルーピング手段１４は、ここで、ランプ候補抽出手段１２（図１参照）が抽出したランプ候補ｇＬの情報を活用するようになっている。
【０１３２】
具体的には、グルーピング手段１４は、各区分Ｄｎごとに、区分Ｄｎ内にランプ候補抽出手段１２が抽出したランプ候補ｇＬが存在するか否かを判定する（ステップＳ４２）。そして、区分Ｄｎ内にランプ候補ｇＬが存在する場合には（ステップＳ４２；ＹＥＳ）、ランプ候補ｇＬ中の各画素に割り当てられた位置データ（ｉ，ｊ，ｄｐ）における距離の情報すなわち本実施形態では視差ｄｐを、ヒストグラムＨｎに投票する（ステップＳ４３）。
【０１３３】
この場合、当該区分Ｄｎ内に、ランプ候補ｇＬ以外の画素に視差ｄｐが割り当てられていても、その視差ｄｐは当該ヒストグラムＨｎには投票されない。そして、グルーピング手段１４は、例えば当該ヒストグラムＨｎにおける最頻値が属する階級の階級値を、当該区分Ｄｎにおける代表距離すなわち本実施形態では代表視差ｄｐｎとして算出する（ステップＳ４４）。
【０１３４】
また、グルーピング手段１４は、区分Ｄｎ内にランプ候補ｇＬが存在しない場合には（ステップＳ４２；ＮＯ）、特許文献１に記載された手法と同様に、当該区分Ｄｎ内の各画素に割り当てられた位置データにおける距離の情報すなわち視差ｄｐをヒストグラムＨｎに投票し（ステップＳ４５）、例えば当該ヒストグラムＨｎにおける最頻値が属する階級の階級値を、当該区分Ｄｎにおける代表視差ｄｐｎ（代表距離）として算出する（ステップＳ４６）。
【０１３５】
ただし、この場合、算出した代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎ（図２１参照）が、例えば最頻値であるとしても小さい度数Ｆｎである場合には、算出された代表視差ｄｐｎの信頼性が低くなる。
【０１３６】
そこで、本実施形態では、グルーピング手段１４は、上記のように、区分Ｄｎ内にランプ候補ｇＬが存在しない場合（ステップＳ４２；ＮＯ）に算出した当該区分Ｄｎの代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎが、予め設定された所定値未満であるか否かを判定する（ステップＳ４７）。
【０１３７】
そして、代表視差ｄｐｎに対応する度数Ｆｎが所定値未満である場合には（ステップＳ４７；ＹＥＳ）、当該区分Ｄｎについては代表視差ｄｐｎを無効とするようになっている（ステップＳ４８）。そのため、グルーピング手段１４は、代表視差ｄｐｎを無効とした区分Ｄｎについては、代表視差ｄｐｎがないものとして以下のグループ化処理を行う。
【０１３８】
なお、この代表視差ｄｐｎに対応する度数Ｆｎに基づく代表視差ｄｐｎを無効とするか否かの判定処理（ステップＳ４７）は、区分Ｄｎ内にランプ候補ｇＬが存在する場合（ステップＳ４２；ＹＥＳ）には行われない。そのため、この場合には、ステップＳ４４の処理で算出された代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎが小さな度数Ｆｎであっても、代表視差ｄｐｎが無効とされることはない。
【０１３９】
そして、グルーピング手段１４は、全ての区分ＤｎについてステップＳ４２〜Ｓ４８の各処理を行っていなければ（ステップＳ４９；ＮＯ）、各区分ＤｎについてステップＳ４２〜Ｓ４８の各処理を行い、代表視差ｄｐｎが無効とされて存在しない場合も含めて、全ての区分Ｄｎについて代表視差ｄｐｎを算出する。
【０１４０】
上記のように構成すると、区分Ｄｎ内に、ランプ候補ｇＬ中の各画素に割り当てられた視差ｄｐから算出された代表視差ｄｐｎとは異なる視差ｄｐが割り当てられた画素が、ランプ候補ｇＬ中の代表視差ｄｐｎが割り当てられた各画素よりも多く存在する場合でも（すなわち前者の度数Ｆｎが後者の度数Ｆｎより多い場合でも）、区分Ｄｎ内にランプ候補ｇＬが存在する場合には、ランプ候補ｇＬ中の各画素の視差ｄｐから算出された代表視差ｄｐｎが当該区分Ｄｎの代表視差ｄｐｎ（代表距離）として優先的に算出される。
【０１４１】
そのため、区分Ｄｎ内にランプ候補ｇＬが存在する場合には、区分Ｄｎ内に存在するランプ候補ｇＬ以外の部分の画素に割り当てられた視差ｄｐではなく、車両のテールランプＴＬに対応するランプ候補ｇＬにおける代表視差ｄｐｎを、当該区分Ｄｎの代表視差ｄｐｎとして確実に抽出することが可能となる。
【０１４２】
本実施形態では、グルーピング手段１４は、上記のようにして各区分Ｄｎごとの代表視差ｄｐｎ（代表距離）を算出すると（ステップＳ４４、Ｓ４６、Ｓ４８）、特許文献１に記載された手法と同様に、代表視差ｄｐｎを含む各区分Ｄｎの位置データをグルーピングの対象としてグループ化処理を行うようになっている（ステップＳ５０）。
【０１４３】
各区分Ｄｎごとに算出した代表視差ｄｐｎと、例えば短冊状の各区分Ｄｎの横方向（すなわち図２０に示した距離画像Ｔｚにおけるｉ軸方向）の画素幅の中間点のｉ座標を上記の（１）式および（３）式に代入して、各区分Ｄｎごとの代表視差ｄｐｎに対応する実空間上の２次元の位置データ（Ｘ，Ｚ）を算出して実空間平面上にプロットすると、各区分Ｄｎごとの代表視差ｄｐｎに対応する実空間上の各点は、図２３に示したように、自車両前方の各車両に対応する部分に多少ばらつきを持ってプロットされる。
【０１４４】
グルーピング手段１４は、このようにプロットされた各点について、実空間上で隣接する点同士のＸ軸方向（左右方向）の間隔が設定された閾値以内であり、かつ、Ｚ軸方向（距離方向）の間隔が設定された閾値以内であるか否かを判定し、Ｘ軸方向の間隔とＺ軸方向の間隔がともに各閾値以内である場合に、それらの隣接する点を１つのグループＧとしてグループ化するようになっている。
【０１４５】
また、グルーピング手段１４は、グループ化した１つのグループＧの中に、左右方向（すなわちＸ軸方向）に延在する各点の部分と距離方向（すなわちＺ軸方向）に延在する各点の部分とが存在する場合には、図２４に示したように、グループ化した１つのグループＧをその方向性に応じて複数のグループＧに分離するようになっている（ステップＳ５１）。なお、この点については特許文献１等に詳述されており、参照されたい。
【０１４６】
グルーピング手段１４は、続いて、上記のようにしてグループ化（ステップＳ５０）および分離（ステップＳ５１）を行って生成された各グループＧの再グルーピング処理を行うようになっている。
【０１４７】
具体的には、図１４のフローチャートに示すように、グルーピング手段１４は、まず、生成したグループＧ中に、前述したランプペア候補抽出手段１３により抽出されたランプペア候補ＰｇＬに属する位置データが含まれているか否かを判定する（ステップＳ５２）。
【０１４８】
そして、グループＧ中にランプペア候補ＰｇＬに属する位置データが含まれている場合（ステップＳ５２；ＹＥＳ）には、当該グループ中の、ランプペア候補ＰｇＬを構成する各ランプ候補ｇＬに属する位置データ（すなわち図２４における各点）と、各ランプ候補ｇＬに属さない位置データとを強制的に分離して、それぞれ別のグループＧとするようになっている。すなわち、グループＧを、ランプ候補ｇＬに属する位置データからなるグループＧＬと、ランプ候補ｇＬに属する位置データを含まないグループＧに分離する。
【０１４９】
前述したように、例えば図３１に示したようなシーンでは、従来の特許文献１に記載された手法では、図３２に示したように、先行車両Ｖahである平ボディの荷台付きトラックの荷台Ｐの後あおりＢの左側のエッジ部分が、右側のエッジ部分とグループ化できず、生垣Ｈと一体化されて１つのグループとされてしまう場合があった。
【０１５０】
しかし、本実施形態では、上記のグループ化処理（図１３のステップＳ５０）で、仮に先行車両Ｖahである平ボディの荷台付きトラックの左側のテールランプＴＬｌ（図３１参照）と生垣Ｈとが１つのグループとしてグループ化されたとしても、ランプペア候補抽出手段１３により左側のテールランプＴＬｌと右側のテールランプＴＬｒに対応する各ランプ候補ｇＬがランプペア候補ＰｇＬとして抽出されている。
【０１５１】
そのため、図１４のステップＳ５２の判定処理とステップＳ５３の分離処理を行うことで、図１５に示すように、左側のテールランプＴＬｌと生垣Ｈとが含まれていた１つのグループを、左側のテールランプＴＬｌを含むグループＧＬと、生垣Ｈを含むがランプ候補ｇＬに属する位置データを含まないグループＧとを分離して、それぞれ別のグループＧＬ、Ｇに的確に分離することが可能となる。
【０１５２】
なお、この場合、距離画像Ｔｚの１つの区分Ｄｎ（図２０参照）内に、平ボディの荷台付きトラックの前壁ＦやキャブＣａの背面部分と左側のテールランプＴＬｌ（右側のテールランプＴＬｒについても同様）とが含まれる場合がある。
【０１５３】
しかし、上記のように、このような区分Ｄｎで、仮に前壁ＦやキャブＣａのエッジ部分に対応する各画素に多くの視差ｄｐが算出されるとしても、左側のテールランプＴＬｌに対応するランプ候補ｇＬ中の各画素の視差ｄｐから算出された代表視差ｄｐｎが当該区分Ｄｎの代表視差ｄｐｎとして優先的に算出される。
【０１５４】
そのため、左側のテールランプＴＬｌに対応する代表視差ｄｐｎや位置データが確実に抽出される。そして、そのため、上記のように、グルーピング手段１４で分離処理（ステップＳ５２、Ｓ５３）を行うことで、左側のテールランプＴＬｌに対応するグループＧＬとが、確実に生垣Ｈに対応するグループＧと分離されて、それぞれ別のグループとされる。
【０１５５】
グルーピング手段１４は、続いて、各グループＧの中から、ランプ候補ｇＬに属する位置データを含む１つのグループＧＬを任意に選択し（ステップＳ５４）、当該グループＧＬと、他のランプ候補ｇＬに属する位置データを含むグループＧＬとの全ての組み合わせについて、再グルーピングの可否を判定する（ステップＳ５５）。
【０１５６】
この場合、再グルーピングの可否の判定においては、例えば、以下の２つの条件をともに満たす場合に再グルーピング可能と判定するように構成することが可能である。
【０１５７】
すなわち、再グルーピングの可否の判定における１つめの閾値Δｄｐth（或いはΔｚth）として、２つのグループＧＬに属する各位置データのうち、相手方のグループに最も近接する位置データを各グループＧＬ中に１つずつ選び出し、その位置データ同士の代表視差ｄｐｎ（或いは代表距離Ｚｎ。以下同じ）の差異Δｄｐ（或いは差異Δｚ）が１０％以内、すなわち一方のグループＧＬから選ばれた位置データにおける代表視差ｄｐｎに対する、他方のグループＧＬから選ばれた位置データにおける代表視差ｄｐｎの比が０．９倍〜１．１倍の範囲内とし、この範囲内にあるか否かを判定する。
【０１５８】
また、再グルーピングの可否の判定における２つめの閾値Δｘthとして、２つのグループＧＬからそれぞれ選ばれた上記の２つの位置データについて、それらの実空間上の左右方向の位置（すなわち各Ｘ座標）の間隔Δｘが２ｍ以内とし、この範囲内にあるか否かを判定する。
【０１５９】
そして、本実施形態では、グルーピング手段１４は、選択した当該グループＧＬと他のグループＧＬとの組み合わせについて、上記の２つの条件がともに満たされた場合に再グルーピング可能と判定し、再グルーピング可能と判定した当該グループＧＬと他のグループＧＬ同士を再グルーピングするようになっている（ステップＳ５５）。
【０１６０】
そして、選択した当該グループＧＬと他のグループＧＬとの全ての組み合わせについて上記の再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている。
【０１６１】
また、グルーピング手段１４は、全てのグループＧＬについて上記の他のグループＧＬとの再グルーピングの可否の判定および実施を行っていなければ（ステップＳ５６；ＮＯ）、全てのグループＧＬについて上記の他のグループＧＬとの再グルーピングの可否の判定および実施の処理（ステップＳ５４、Ｓ５５）を繰り返すようになっている。
【０１６２】
このランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthは、後述するその後の全てのグループＧ同士の再グルーピングを行う際の閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊よりも、再グルーピングし易い閾値とされている。
【０１６３】
また、上記のように、ランプ候補ｇＬに属する位置データを含まないグループＧを除外して、先にランプ候補ｇＬに属する位置データを含むグループＧＬについて、再グルーピングし易い閾値Δｄｐth（或いはΔｚth）、Δｘthを用いて再グルーピング処理を行うように構成することで、例えば前述した図３１に示したようなシーンにおいて、図１５に示すようにグループ化された各グループＧのうち、ランプ候補ｇＬに属する位置データを含む左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについて、先に再グルーピングの可否を判定することが可能となる。
【０１６４】
そして、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについては、上記の２つの条件がともに満たされるため、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを優先的に再グルーピングすることが可能となり、図１６に示すように、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを、新たな１つのグループＧＬとすることが可能となる。
【０１６５】
グルーピング手段１４は、ランプ候補ｇＬに属する位置データを含む全てのグループＧＬについて上記の処理を行うと（ステップＳ５６；ＹＥＳ）、続いて、再グルーピングされたグループＧＬや再グルーピングされなかったグループＧＬを含む全てのグループＧの組み合わせについて再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている（ステップＳ５７）。
【０１６６】
その際、ステップＳ５７の再グルーピングの可否の判定における閾値は、例えば、上記の１つめの閾値Δｄｐth＊（或いはΔｚth＊）として、上記の差異Δｄｐ（或いはΔｚ）が５％以内とされ、また、２つめの閾値Δｘth＊として、上記の実空間上の左右方向の間隔Δｘが１ｍ以内とされるなど、上記のランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthよりも、再グルーピングし難い閾値とされている。
【０１６７】
実際には、ステップＳ５７の再グルーピングの可否の判定における閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊は、再グルーピングし難い閾値というよりも、寧ろ、例えば図３１や図３２に示したような問題は生じるとしても、例えば図１８に示したような通常のシーンにおいては車両を含む各物体を適切に切り分けて検出することができる閾値として設定される。
【０１６８】
そして、ステップＳ５５の判定処理で用いられる、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthの方が、それよりもいわば緩い閾値とされて、再グルーピングし易くなるように設定されている。
【０１６９】
グルーピング手段１４は、以上の処理が終了すると、続いて、生成したグループＧがランプ候補ｇＬに属する位置データを含むグループＧＬであれば（ステップＳ５８；ＹＥＳ）、当該グループＧ（すなわちグループＧＬ）を、車両の背面部分に対応するグループとして識別し（ステップＳ５９）、検出したグループＧ（すなわちグループＧＬ）の情報をメモリに保存する。
【０１７０】
また、生成したグループＧがランプ候補ｇＬに属する位置データを含まないグループＧであっても（ステップＳ５８；ＮＯ）、当該グループＧ内の各位置データが実空間上で左右方向（すなわちＸ軸方向）に延在している場合には（ステップＳ６０；ＹＥＳ）、当該グループＧを車両の背面部分に対応するグループとして識別し（ステップＳ５９）、検出したグループＧの情報をメモリに保存する。
【０１７１】
なお、この段階で、車両の背面部分に対応するグループとして識別した各グループＧＬ、Ｇについて、例えば、その識別の確からしさを表す確率を算出するように構成することも可能である。
【０１７２】
その際、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補ｇＬに属する位置データを含むグループＧＬである場合には、高い確率が割り当てられるように構成し、また、ランプ候補ｇＬに属する位置データを含む当該グループＧＬの中に、ランプペア候補抽出手段１３により抽出された１つのランプペア候補ＰｇＬを構成する全てのランプ候補ｇＬ（ハイマウントストップランプに対応するランプ候補ｇＬが含まれることがあることは前述した通り。）が含まれる場合には、さらに高い確率が割り当てられるように構成することが可能である。
【０１７３】
そして、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補ｇＬに属する位置データを含まないグループＧである場合には、より低い確率が割り当てられるように構成することが可能である。
【０１７４】
一方、グルーピング手段１４は、生成したグループＧがランプ候補ｇＬに属する位置データを含まないグループＧであって（ステップＳ５８；ＮＯ）、しかも、当該グループＧ内の各位置データが実空間上で距離方向（すなわちＺ軸方向）に延在している場合には（ステップＳ６０；ＮＯ）、当該グループＧを車両の背面部分に対応するグループとしては識別せず、車両の側面部分や前述した生垣Ｈ（図３１等参照）のように自車両の進行方向（すなわちＺ軸方向）に延在する物体であるとして識別する。なお、この情報をメモリに保存するか否かは適宜決められる。
【０１７５】
なお、車両の背面部分に対応するグループとして識別したグループＧＬ、Ｇや、自車両の進行方向（すなわちＺ軸方向）に延在する物体であるとして識別したグループＧＬ、Ｇについて、図２５に示したように各グループＧＬ、Ｇに属する各位置データをそれぞれ直線近似したり、図２６に示したように検出したＧＬ、Ｇに対応する車両等の物体を基準画像Ｔ上にそれぞれ矩形状の枠線等で包囲して表示する等の処理が適宜行われる。
【０１７６】
グルーピング手段１４は、全てのグループＧＬ、Ｇについて上記の処理を行っていなければ（ステップＳ６１；ＮＯ）、上記のステップＳ５８〜Ｓ６０の各処理を繰り返して行う。また、全てのグループＧＬ、Ｇについて上記の処理を行うと（ステップＳ６１；ＹＥＳ）、グルーピング手段１４は、検出したグループＧＬ、Ｇの中から先行車両Ｖahに対応するグループＧahを特定して（ステップＳ６２）、処理を終了する。
【０１７７】
そして、処理部１０は、グルーピング手段１４が上記の処理を終了すると、メモリに保存された必要な情報を外部装置に送信するとともに、図３に示したステップＳ１から新たに一連の処理を再開するようになっている。
【０１７８】
なお、図１４のステップＳ６２における処理では、例えば以下のようにして、先行車両Ｖahを特定するように構成することが可能である。なお、後述する図１７では、図２６に示した場合と同様に、位置データが左右方向に延在するグループＧＬ、ＧがグループＯとして表記され、位置データが距離方向に延在するグループＧＬ、ＧがグループＳとして表記されている。
【０１７９】
先行車両Ｖahの特定処理では、図１７に示すように自車両の挙動（すなわち車速やヨーレート、ステアリングホイールの舵角等）に基づいて自車両が今後進行するであろう軌跡を走行軌跡Ｌestとして推定する。
【０１８０】
すなわち、自車両の走行軌跡Ｌestは、自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（４）式または下記（５）、（６）式に従って算出される自車両の旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（４）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ） …（５）
Ｃua＝１／Ｒｅ …（６）
【０１８１】
そして、先行車両Ｖahに対応するグループＧahは、図１７に示すように、自車両の走行軌跡Ｌest上に存在するグループＧＬまたはグループＧ（すなわちクループＯ）、或いは、走行軌跡Ｌestを中心とする自車両の車幅分の領域内に存在するクループＯとして検出することができる。例えば図１７では、グループＯ３が先行車両Ｖahに対応するグループＧahとして検出される。
【０１８２】
なお、前回のサンプリング周期で検出した先行車両Ｖahに対応するグループＧahと、今回のサンプリング周期で先行車両Ｖahに対応するグループＧahが、同一の車両に対応するグループＧahである確率を算出する等して、整合性を保ちながら先行車両Ｖahを追跡するように構成することが可能である。
【０１８３】
このように構成すれば、検出した先行車両Ｖahが自車両の前方から離脱してさらにその前方の車両が新たに先行車両Ｖahとなったり、自車両と先行車両Ｖahとの間に他の車両が割り込んできて当該他の車両が新たな先行車両Ｖahとなることによる先行車両Ｖahの交替等を的確に検出することが可能となる。
【０１８４】
以上のように、本実施形態に係る車両検出装置１によれば、グルーピング手段１４は、前述した特許文献１に記載された手法と同様に、位置検出手段９により検出された位置データをグループ化して車両を含む各物体に対応する各グループＧを生成する。
【０１８５】
しかし、本実施形態では、グルーピング手段１４は、グループ化して生成した各グループＧについてさらに処理を行い、ランプ候補抽出手段１２が抽出したランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧＬ同士を再グルーピングする。そして、その後で、グループＧＬを含む全てのグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧＬ、Ｇ同士を再グルーピングするように構成した。
【０１８６】
しかも、その際、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングを行う際の位置データに関する閾値Δｄｐth（或いはΔｚth）、Δｘthを、その後の全てのグループＧＬ、Ｇ同士の再グルーピングを行う際の閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊よりも、再グルーピングし易い閾値となるように構成した。
【０１８７】
このように、ランプ候補ｇＬに属する位置データを含まないグループＧを除外して、先にランプ候補ｇＬに属する位置データを含むグループＧＬについて、再グルーピングし易い閾値Δｄｐth（或いはΔｚth）、Δｘthを用いて再グルーピング処理を行うように構成したため、例えば前述した図３１に示したようなシーンにおいても、図１５に示すようにグループ化された各グループＧのうち、ランプ候補ｇＬに属する位置データを含む左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについて、先に再グルーピングの可否を判定することが可能となる。
【０１８８】
そして、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを優先的に再グルーピングすることが可能となり、図１６に示すように、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを、新たな１つのグループＧＬとすることが可能となる。
【０１８９】
このように、本実施形態に係る車両検出装置１によれば、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応するランプ候補ｇＬ同士の再グルーピングの可否を先に判定し、再グルーピングを行ってそれらを新たな１つのグループＧＬとした上で、他のグループＧＬ、Ｇとの再グルーピングの可否が判定されるため、車両の左右のテールランプＴＬに対応するグループＧＬを基準として、車両に対応するグループＧを検出することが可能となる。
【０１９０】
そのため、位置検出手段９により検出された位置データを的確にグループ化して、先行車両Ｖahを含む車両を的確に検出することが可能となる。
【０１９１】
なお、本発明が上記の実施形態に限定されず、適宜変更可能であることはいうまでもない。
【符号の説明】
【０１９２】
１ 車両検出装置
２ 撮像手段
６ 画像処理手段（距離画像作成手段）
９ 位置検出手段
１１ 統合処理手段
１２ ランプ候補抽出手段
１３ ランプペア候補抽出手段
１４ グルーピング手段
Ｄｎ 区分
ｄｐ 視差（距離）
ｄｐｎ 代表視差（代表距離）
Ｇ グループ
ｇ 画素領域
ＧＬ ランプ候補に属する位置データを含むグループ
ｇＬ ランプ候補
Ｈｎ ヒストグラム
（ｉ，ｊ，ｄｐ） 位置データ
ｐ 画素
ＰｇＬ ランプペア候補
Ｔ 基準画像（画像）
ＴＬ テールランプ
ＴＬｌ、ＴＬｒ 左右のテールランプ
Ｔｚ 距離画像
Ｖah 先行車両（車両）
（Ｘ，Ｙ，Ｚ） 位置データ
Ｙ 実空間上での高さ
ｙ 路面からの高さ
Ｚ 距離
Ｚｎ 代表距離
Δｄｐth、Δｚth、Δｘth 閾値
Δｄｐth＊、Δｚth＊、Δｘth＊ 閾値
ΔＸ 間隔
【技術分野】
【０００１】
本発明は、車両検出装置に係り、特に、位置検出手段により得られた位置データに基づいて先行車両等の車両を検出する車両検出装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から発射された電波やレーザビームの反射波解析等により、例えばそれらの撮像手段や装置を搭載した車両の周囲に存在する車両等を検出する車両検出装置の開発が進められている（例えば特許文献１等参照）。
【０００３】
車両を含む物体の検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで、実空間上に物体を検出することができる。
【０００４】
例えば特許文献１に記載された手法では、例えば図１８に示すような画像Ｔが撮像されるシーンにおいて、撮像された画像Ｔを含む一対の画像に対してステレオマッチング処理を行うと、画像Ｔの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図１９に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Ｔｚという。
【０００５】
また、レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図１９に示した距離画像Ｔｚと同様の画像状のデータが得られる。以下、距離画像Ｔｚという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。
【０００６】
そして、このようにして得られた距離画像Ｔｚを、例えば図２０に示すように所定の画素幅で縦方向に延在する短冊状の区分Ｄｎに分割し、各区分Ｄｎごとに、図２１に示すようなヒストグラムＨｎを作成し、当該区分Ｄｎに属する視差ｄｐや距離Ｚの情報を投票する。そして、例えば各ヒストグラムＨｎにおける最頻値が属する階級の階級値を当該区分Ｄｎにおける物体の代表視差ｄｐｎや代表距離Ｚｎとする。これを全区分Ｄｎについて行い、各区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出する。
【０００７】
なお、視差ｄｐと距離Ｚとの関係は、以下のように対応づけられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にＺ軸をとり、左右方向および上下方向にそれぞれＸ軸およびＹ軸をとった場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像ＴZ上の画素の座標（ｉ，ｊ）とは、三角測量の原理に基づいて、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）
で表される座標変換により１対１に対応づけることができる。
【０００８】
なお、上記各式において、ＣＤは一対の撮像手段の間隔、ＰＷは１画素当たりの視野角、ＣＨは一対の撮像手段の取り付け高さ、ＩＶおよびＪＶは正面の無限遠点の距離画像ＴZ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。また、代表視差ｄｐｎは上記（３）式に基づいて代表距離Ｚｎと１対１に対応づけられる。
【０００９】
上記のようにして距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することは、実空間上に置き換えた場合、図２２の平面図に示すように、自車両に搭載された撮像手段Ａによる実空間上の撮像領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。
【００１０】
また、レーダ装置においても同様である。すなわち、図２２における装置Ａをレーダ装置、領域Ｒをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Ｔｚを縦方向に延在する短冊状の区分Ｄｎに分割することはレーダ装置Ａによる実空間上の照射領域Ｒを上下方向に延在する複数の区分空間Ｓｎに分割することに対応する。
【００１１】
そして、実空間上の各区分空間Ｓｎに、当該区分空間Ｓｎに対応する距離画像Ｔｚの区分Ｄｎにおける代表距離Ｚｎ（算出された代表視差ｄｐｎに１対１に対応づけられる代表距離Ｚｎ）をプロットすると、各代表距離Ｚｎは、例えば図２３に示すようにプロットされる。なお、実際には、区分Ｄｎの数に応じて図２３に示した以上に多数の点が細かくプロットされる。
【００１２】
そして、図２４に示すように、例えばプロットされた各代表距離Ｚｎをそれらの間の距離や方向性（すなわち左右方向（すなわちＸ軸方向）に延在するか距離方向（すなわちＺ軸方向）に延在するか）に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化し、図２５に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。
【００１３】
なお、その際、例えば略左右方向に延在するグループＯと略距離方向に延在するグループＳとが共通のコーナー点Ｃを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。
【００１４】
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Ｔｚに基づいて検出された各物体を、図２６に示すように、撮像手段で撮像された元の画像Ｔ上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像Ｔ上に可視化することができる。このようにして、車両を含む各物体を検出することが可能となる。
【００１５】
また、例えば特許文献２では、２台の車両の位置が接近した場合に、異なる車両を誤って１台の車両として検出しない手法として、上記のような視差や距離の情報を用いずに、画像中のウィンカランプ、ブレーキランプに相当する領域を見出し、車両後部のウィンカランプ位置及びブレーキランプ位置が車両によらずほぼ一定間隔であることを理由にその位置関係から前方の車両を認識する手法が提案されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特許第３３４９０６０号公報
【特許文献２】特開平８−２４１５００号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記の特許文献１に記載された手法（図１８〜図２６参照）を採用した場合、例えば図２７に示すような画像Ｔが撮像されるシーンでは、例えば図２８（Ａ）に示すように、先行車両Ｖahを単独に検出したいところであるが、先行車両Ｖahと生垣Ｈとが隣接して撮像されているために、図２８（Ｂ）に示すように、先行車両Ｖahと生垣Ｈとがグループ化されて１つの物体として検出されてしまう場合がある。
【００１８】
また、例えば図２９に示すような画像Ｔが撮像されるシーンでは、先行車両Ｖahである平ボディの荷台付きトラックの荷台Ｐの後あおりＢの部分の左右のエッジ部分（図中の一点鎖線参照）や、前壁Ｆ（前構造、鳥居ともいう。）やキャブＣａの背面部分に対応する部分（図中の一点鎖線参照）には有効な視差や距離の情報が検出され易いが、平板状で構造（テクスチャ等ともいう。）に乏しい荷台Ｐの後あおりＢの中央部に対応する部分には、有効な視差や距離の情報がほとんど検出されない。
【００１９】
そのため、上記のように距離画像Ｔｚを短冊状の各区分Ｄｎに分割して、区分Ｄｎごとに代表視差ｄｐｎや代表距離Ｚｎを算出してグループ化すると、図３０に示すように、先行車両Ｖahの荷台Ｐの後あおりＢの左側のエッジ部分と右側のエッジ部分とがグループ化されずに、自車両からそれぞれＺｂの距離にある別々の物体として検出され、前壁ＦやキャブＣａの部分が、自車両からＺｆの距離にあるさらに別の物体として検出されてしまう場合がある。
【００２０】
そして、図２７と図２９とが合わさった例えば図３１に示すような画像Ｔが撮像されるシーンでは、図３１や図３２に示すように、先行車両Ｖahの荷台Ｐの後あおりＢの左側のエッジ部分は、右側のエッジ部分とグループ化できないばかりでなく、もはや生垣Ｈと一体化して検出されてしまう。
【００２１】
そのため、先行車両Ｖahと生垣Ｈが撮像されたシーンであるにもかかわらず、生垣Ｈと、前壁ＦやキャブＣａと、荷台Ｐの後あおりＢの右側のエッジ部分とが、それぞれ別の物体として検出されてしまう場合があった。
【００２２】
一方、特許文献２に記載の手法を採用した場合には、例えば自車両が片側複数車線の道路を走行しており、先行車両Ｖahの右隣の車線に例えば同型の車両が走行しているような場合には、図示を省略するが、先行車両Ｖahの右側のウインカランプやブレーキランプと、右隣の車線を走行している車両の左側のウインカランプやブレーキランプとを、１台の車両の左右のウインカランプやブレーキランプとして検出してしまう可能性があり、検出の信頼性に問題があった。
【００２３】
このように、同一の物体が別々の物体として検出されてしまったり、別々の物体（或いは本来物体がない部分）を１つの物体として検出しまうと、誤った物体の情報に基づいて制御を行うことになり、本来、安全走行等に資するべき車両の自動制御において、逆に、事故の危険性が増大してしまう等の問題があった。
【００２４】
なお、以下では、上記のように、一対のカメラ等の撮像手段で得られた画像に基づき、或いはレーダ装置等により得られた物体までの距離を含む物体の位置の情報を、位置データという。
【００２５】
本発明は、このような事情に鑑みてなされたものであり、検出した物体の位置データを的確にグループ化して先行車両等の車両を的確に検出することが可能な車両検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
前記の問題を解決するために、第１の発明は、車両検出装置において、
撮像手段により撮像された画像中の各画素について距離を含む位置データを検出する位置検出手段と、
前記画像上で、所定の輝度以上の輝度を有する画素を抽出し、抽出した前記画素が前記画像上で隣接する場合には前記画素同士を同一の画素領域として統合する統合処理手段と、
前記統合処理手段が統合した前記各画素領域の中から、前記位置検出手段が検出した前記位置データに基づいて、車両のテールランプに対応する可能性がある前記画素領域をランプ候補として抽出するランプ候補抽出手段と、
前記位置検出手段により検出された前記位置データをグループ化し、グループ化して生成した前記各グループについて、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングした後で、全ての前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングするグルーピング手段と、
を備え、
前記グルーピング手段における前記再グルーピング処理では、前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値が、その後の全ての前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値よりも、再グルーピングし易い閾値とされていることを特徴とする。
【００２７】
第２の発明は、第１の発明の車両検出装置において、前記グルーピング手段は、前記再グルーピングの結果、生成した前記グループが、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含むグループである場合には、当該グループを、車両の背面部分に対応するグループとして識別することを特徴とする。
【００２８】
第３の発明は、第１または第２の発明の車両検出装置において、
さらに、前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、前記位置検出手段により検出された前記位置データに基づいて、車両の左右のテールランプを含むテールランプに対応する可能性があるランプ候補の組み合わせをランプペア候補として抽出するランプペア候補抽出手段を備え、
前記グルーピング手段は、前記位置データをグループ化して生成した前記グループ中に、前記ランプペア候補抽出手段により抽出された前記ランプペア候補に属する前記位置データが含まれている場合には、前記ランプペア候補を構成する前記各ランプ候補に属する前記位置データと、前記各ランプ候補に属さない前記位置データとを分離して、それぞれ別のグループとして前記再グルーピング処理を行うことを特徴とする。
【００２９】
第４の発明は、第３の発明の車両検出装置において、
前記ランプペア候補抽出手段は、
前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、任意に２つの前記ランプ候補を選択し、
一方の前記ランプ候補の画素数の、他方の前記ランプ候補の画素数に対する比が所定範囲内であるか、前記一方のランプ候補の前記画像における縦方向の画素数の、前記他方のランプ候補の前記画像における縦方向の画素数に対する差が所定範囲内であるか、前記一方のランプ候補の実空間上での距離および高さがそれぞれ前記他方のランプ候補の実空間上の位置から所定の範囲内にあるか、または、前記一方のランプ候補と前記他方のランプ候補の実空間上での左右方向の間隔が車両１台分に相当する幅以内である場合に、当該２つのランプ候補の組み合わせを前記ランプペア候補として抽出し、
上記の抽出処理を、前記ランプ候補抽出手段により抽出された前記ランプ候補同士における全ての組み合わせについて行うことを特徴とする。
【００３０】
第５の発明は、第３または第４の発明の車両検出装置において、前記ランプペア候補抽出手段は、抽出した前記ランプペア候補としての左右の前記ランプ候補の間に存在し、かつ、前記左右のランプ候補の前記画像中の上側の位置に別の前記ランプ候補が存在する場合には、当該別のランプ候補をハイマウントストップランプとして当該ランプペア候補に追加することを特徴とする。
【００３１】
第６の発明は、第５の発明の車両検出装置において、前記ランプペア候補抽出手段は、ハイマウントストップランプとして追加した前記ランプ候補が、当該ランプ候補が追加された前記ランプペア候補とは別の前記ランプペア候補に属している場合には、前記追加したランプ候補を、追加された前記ランプペア候補から除外するとともに、追加を除外された前記ランプ候補が属する当該別のランプペア候補については前記ランプペア候補としての指定を解除することを特徴とする。
【００３２】
第７の発明は、第１から第６のいずれかの発明の車両検出装置において、前記ランプ候補抽出手段は、前記統合処理手段が統合した前記各画素領域の中から、路面からの高さが所定範囲内にある前記画素領域を前記ランプ候補として抽出することを特徴とする。
【００３３】
第８の発明は、第１から第７のいずれかの発明の車両検出装置において、
さらに、前記位置検出手段により検出された前記各位置データを、前記撮像手段により撮像された前記画像の対応する各画素に割り当てて距離画像を作成する距離画像作成手段を備え、
前記グルーピング手段は、
前記距離画像作成手段により作成された前記距離画像を複数の区分に分割し、
前記区分ごとにヒストグラムを作成し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在する場合には、前記ランプ候補中の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合には、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
算出した前記各代表距離を含む前記位置データを前記グループ化の対象とすることを特徴とする。
【００３４】
第９の発明は、第８の発明の車両検出装置において、前記グルーピング手段は、前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合に、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出する際に、算出した前記代表距離に対応する前記ヒストグラムの階級の度数が所定値未満である前記区分については、算出した前記代表距離を無効とし、当該区分については前記代表距離がないものとして前記グループ化を行うことを特徴とする。
【発明の効果】
【００３５】
第１の発明によれば、ランプ候補に属する位置データを含まないグループを除外して、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応するランプ候補同士の再グルーピングの可否を先に判定し、再グルーピングし易い閾値を用いて再グルーピング処理を行った上で、他のグループとの再グルーピングの可否が判定される。そのため、車両の左右のテールランプＴＬに対応するグループを基準として、車両に対応するグループを検出することが可能となり、位置検出手段により検出された位置データを的確にグループ化して、先行車両を含む車両を的確に検出することが可能となる。
【００３６】
第２の発明によれば、再グルーピングの結果、生成したグループが、車両のテールランプＴＬに対応するランプ候補に属する位置データを含むグループである場合には、当該グループは、テールランプＴＬが設けられた車両に対応するものである可能性が非常に高い。そのため、このようなグループを車両の背面部分に対応するグループとして識別することで、車両を的確に検出することが可能となり、前記発明の効果をより的確に発揮させることが可能となる。
【００３７】
第３の発明によれば、グルーピング手段が位置データをグループ化してグループを生成する際、生成された１つのグループの中に、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データと、そうでない位置データとが含まれてしまう場合がある。そのような場合に、ランプペア候補を構成する各ランプ候補に属する位置データと、各ランプ候補に属さない位置データとを強制的に分離して、当該グループをそれぞれ別のグループとして、一旦、いわばばらばらにする。
【００３８】
そして、その後、改めて再グルーピング処理を行うため、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データからなるグループと、ランプペア候補に属さない位置データからなるグループとを的確に分離して、それぞれ別々のグループとして、他のグループとの再グルーピングの可否が判定されるようになる。
【００３９】
そのため、例えば図３２に示したように、生垣Ｈと車両の一部とが同一のグループとして処理されてしまうことを的確に防止することが可能となり、車両の左右のテールランプＴＬ等に対応するランプペア候補に属する位置データからなるグループと、ランプペア候補に属さない位置データからなるグループとを的確に分離した状態で車両を的確に検出することが可能となり、前記発明の効果をより的確に発揮させることが可能となる。
【００４０】
第４の発明によれば、上記の各条件のうちのいずれかの条件を満たす場合にランプ候補をランプペア候補とすることで、車両の左右のテールランプＴＬ等にそれぞれ対応するランプ候補をランプペア候補として的確に抽出することが可能となり、前記第３の発明の効果をより的確に発揮させることが可能となる。
【００４１】
第５の発明によれば、近年、車両には左右のテールランプＴＬの他に、ハイマウントストップランプが備え付けられている場合があるが、そのような場合にも上記のランプペア候補にハイマウントストップランプに対応するランプ候補を的確に組み込むことが可能となり、車両の左右のテールランプＴＬとハイマウントストップランプにそれぞれ対応するランプ候補をランプペア候補として的確に抽出することが可能となる。そのため、前記第３の発明や第４の発明の効果をより的確に発揮させることが可能となる。
【００４２】
第６の発明によれば、上記の第５の発明のように、一旦ハイマウントストップランプとして追加したランプ候補が、追加されたランプペア候補とは別のランプペア候補に属している場合、画像中で、ランプペア候補の上側にさらに別のランプペア候補が撮像されているという異常な状態になる。
【００４３】
そこで、このような場合に、ハイマウントストップランプとして追加したランプ候補を追加されたランプペア候補から除外することで、ハイマウントストップランプに対応するものではない可能性が高いランプ候補がランプペア候補に追加されることを的確に防止することが可能となり、前記第５の発明の効果をより的確に発揮させることが可能となる。
【００４４】
第７の発明によれば、例えば、路面から高い位置にある画素領域や、路面と同じ高さの画素領域は、街路灯に対応する画素領域であったり、雨で濡れた路面での反射光に対応する画素領域であったりする可能性があり、いずれも車両のテールランプＴＬに対応する画素領域とは言えない。そこで、位置データの路面からの高さに基づき、位置データの路面からの高さが所定範囲内にあるか否かに応じて画素領域を切り分けることで、車両のテールランプに対応する可能性がある画素領域を的確にランプ候補として抽出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００４５】
第８の発明によれば、距離画像上に検出された全ての位置データに対して上記の各処理を行うように構成すると、データ点数が膨大な量になり、処理に時間がかかり、車両検出のリアルタイム性が損なわれる可能性がある。しかし、距離画像を複数の区分Ｄｎに分割し、分割した各区分Ｄｎごとに代表距離を算出し、算出した各代表距離を含む位置データをグループ化の対象とすることで、処理の対象となるデータ点数を低減することが可能となり、前記各発明の効果に加え、車両検出のリアルタイム性を確保することが可能となる。
【００４６】
また、その際、区分Ｄｎ内にランプ候補が存在する場合には、区分Ｄｎ内の他の部分を無視し、ランプ候補中の各画素に割り当てられた距離の情報のみをヒストグラムに投票して当該区分Ｄｎの代表距離を算出するように構成することで、ランプ候補中の各画素の距離の情報のみから算出された代表距離を当該区分Ｄｎの代表距離として優先的に算出することが可能となる。
【００４７】
そのため、区分Ｄｎ内にランプ候補が存在する場合には、区分Ｄｎ内に存在するランプ候補以外の部分の画素に割り当てられた距離の情報ではなく、車両のテールランプＴＬに対応するランプ候補における代表距離を、当該区分Ｄｎの代表距離として確実に抽出することが可能となる。
【００４８】
第９の発明によれば、区分Ｄｎ内にランプ候補が存在しない場合に、算出した代表距離に対応するヒストグラムの階級の度数が所定値未満である区分Ｄｎについては、算出した代表距離を無効として、当該区分Ｄｎについては代表距離がないものとして扱うように構成することで、信頼性が低い代表距離を採用して車両検出の信頼性が低下することを的確に防止することが可能となり、前記第８の発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本実施形態に係る車両検出装置の構成を示すブロック図である。
【図２】基準画像における水平ラインを説明する図である。
【図３】統合処理手段における統合処理の処理手順を示すフローチャートである。
【図４】統合処理手段における統合処理の処理手順を示すフローチャートである。
【図５】（Ａ）入力された注目画素およびその左に隣接する画素、および（Ｂ）左に隣接する画素が画素領域に属している例を説明する図である。
【図６】（Ａ）入力された注目画素およびその下に隣接する画素、および（Ｂ）下に隣接する画素が画素領域に属している例を説明する図である。
【図７】（Ａ）左や下に隣接する画素がそれぞれ属する各グループの例を説明する図であり、（Ｂ）各グループが一の画素と統合されて１つのグループになる例を説明する図である。
【図８】ランプペア候補抽出手段におけるランプペア候補の抽出処理の処理手順を示すフローチャートである。
【図９】２つのランプ候補の実空間上での左右方向の間隔の算出の仕方の例を説明する図である。
【図１０】抽出したランプペア候補としての左右のランプ候補の間に存在し、かつ、左右のランプ候補の上側の位置に存在する別のランプ候補の例を示す図である。
【図１１】ハイマウントストップランプとして追加されたランプ候補が別のランプペア候補に属している状態の例を表す図である。
【図１２】図１１においてハイマウントストップランプとして追加されたランプ候補が元のランプペア候補から除外された状態等を表す図である。
【図１３】グルーピング手段におけるグループ化処理の処理手順を示すフローチャートである。
【図１４】グルーピング手段における再グルーピング処理の処理手順を示すフローチャートである。
【図１５】左側のテールランプと生垣とが含まれていた１つのグループが左側のテールランプを含むグループと生垣を含むグループＧとに分離された状態を表す図である。
【図１６】図１５の状態に対して再グルーピング処理を行うことで左右のテールランプに対応する各グループが新たな１つのグループとされた状態を表す図である。
【図１７】自車両の走行軌跡に基づいて先行車両が特定された状態を表す図である。
【図１８】撮像手段で撮像される画像の例を示す図である。
【図１９】図１８の画像に基づいて作成された距離画像を表す図である。
【図２０】複数の区分に分割された距離画像の例を表す図である。
【図２１】区分Ｄｎごとに作成されたヒストグラムを表す図である。
【図２２】距離画像を分割する複数の区分を実空間上に置き換えた場合に各区分に対応する複数の区分空間を説明する図である。
【図２３】各区分ごとの代表距離を実空間上にプロットした図である。
【図２４】図２３の各点のグループ化を説明する図である。
【図２５】図２４の各グループに属する各点を直線近似して得られる物体を表す図である。
【図２６】検出された各物体を基準画像上で矩形状の枠線に包囲して表した図である。
【図２７】先行車両と生垣とが隣接して撮像されている画像を表す図である。
【図２８】（Ａ）先行車両のみが検出される状態を説明する図であり、（Ｂ）先行車両と生垣とが１つの物体として検出される状態を表す図である。
【図２９】先行車両として平ボディの荷台付きトラックが撮影された画像を表す図である。
【図３０】図２９の場合に先行車両の荷台の後あおりの左右の各エッジ部分がグループ化されず、左右の各エッジ部分と前壁等の部分とがそれぞれ別の物体として検出される状態を説明する図である。
【図３１】先行車両としての平ボディの荷台付きトラックと生垣とが隣接して撮像されている画像を表す図である。
【図３２】図３１の場合に先行車両の荷台の後あおりの左側のエッジ部分が生垣と一体化して検出される状態を説明する図である。
【発明を実施するための形態】
【００５０】
以下、本発明に係る車両検出装置の実施の形態について、図面を参照して説明する。
【００５１】
なお、本実施形態では、撮像手段２として２台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや３台以上のカメラ等で構成することも可能である。
【００５２】
本実施形態に係る車両検出装置１は、図１に示すように、主に、撮像手段２や変換手段３、画像処理手段６等で構成される位置検出手段９と、統合処理手段１１やランプ候補抽出手段１２等を含む処理部１０とで構成されている。
【００５３】
位置検出手段９は、自車両の周囲を撮像する撮像手段２を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離や高さ、左右方向の位置を含む物体の実空間上の位置に対応する位置データを検出するようになっている。
【００５４】
本実施形態では、位置検出手段９は、本願出願人により先に提出された前記特許文献１や特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車両検出装置等をベースに構成されている。以下、簡単に説明する。
【００５５】
位置検出手段９は、図１に示すように、車幅方向（すなわち左右方向）に一定の距離をあけて配置されＣＣＤカメラで構成された一対のメインカメラ２ａおよびサブカメラ２ｂを備える撮像手段２で自車両の周囲を撮像して得られた一対の撮像画像を変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでそれぞれデジタル画像に変換し、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ５に格納するとともに、処理部１０に送信するようになっている。
【００５６】
なお、例えば撮像手段２のメインカメラ２ａでは、前述した図１８等に示したような画像Ｔ（以下、基準画像Ｔという。）が撮像され、サブカメラ２ｂでは、基準画像Ｔと同様の画像ではあるが、メインカメラ２ａから車幅方向に一定の距離だけ離れた位置から撮像された画像（図示省略。以下、比較画像という。）が撮像される。
【００５７】
また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの輝度Ｄが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【００５８】
さらに、本実施形態では、撮像手段２のメインカメラ２ａやサブカメラ２ｂで基準画像Ｔや比較画像を撮像する場合、図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像した順に基準画像Ｔと比較画像Ｔｃの各画素の輝度Ｄをそれぞれ変換手段３に順次送信するようになっている。
【００５９】
画像補正部４で画像補正が行われた一対の撮像画像は、画像処理手段６にも送信される。そして、画像処理手段６のイメージプロセッサ７で、メインカメラ２ａで撮像した基準画像Ｔが複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ２ｂで撮像した比較画像の対応する画素ブロックがステレオマッチング処理により見出され、前述したように、各画素ブロックごとに視差ｄｐが算出される。
【００６０】
この視差ｄｐの算出については、前記各公報に詳述されている。また、この視差ｄｐと画素ブロックの基準画像Ｔ上の座標（ｉ，ｊ）が、実空間上の点（Ｘ，Ｙ，Ｚ）と上記（１）〜（３）式を介して１対１に対応付けられることは前述した通りである。また、本実施形態では、この視差ｄｐと座標（ｉ，ｊ）から構成されるデータ（ｉ，ｊ，ｄｐ）を位置データとして扱うように構成されているが、例えば、データ（ｉ，ｊ，ｄｐ）を上記（１）〜（３）式に代入して算出した実空間上の位置（Ｘ，Ｙ，Ｚ）を位置データとして扱うように構成することも可能である。
【００６１】
画像処理手段６は、上記のように画素ブロックごとに算出した視差ｄｐを基準画像Ｔの対応する各画素に割り当てて前述した距離画像Ｔｚ（例えば図１９参照）を作成し、作成した距離画像Ｔｚを距離データメモリ８に格納するとともに、距離画像Ｔｚを処理部１０に送信するようになっている。
【００６２】
すなわち、本実施形態では、画像処理手段６が距離画像作成手段に相当する。なお、距離画像Ｔｚは、距離の情報としての視差ｄｐを有するものであるが、距離画像Ｔｚには、図１９に示したように座標（ｉ，ｊ）の情報も含まれており、距離画像Ｔｚは、位置検出手段９が検出した視差ｄｐを含む位置データ（ｉ，ｊ，ｄｐ）を基準画像Ｔに割り当てたものに相当する。
【００６３】
なお、図示を省略するが、本実施形態の他にも、自車両に対する各車両の距離Ｚ（或いは視差ｄｐ）を含む位置データの測定については、例えば自車両前方にレーザ光Ｌや赤外線等を照射してその反射光の情報に基づいて物体までの距離Ｚや物体の実空間上の位置（Ｘ，Ｙ，Ｚ）等を測定するレーダ装置等で構成することも可能であり、この場合は、レーダ装置等が距離検出手段９ということになる。このように、距離データを検出する距離検出手段９の構成は、特定の構成に限定されない。
【００６４】
しかし、車両検出装置１は、距離検出手段９としてレーダ装置等を用いる場合でも、撮像手段２を備えるように構成される。そして、この場合、撮像手段２を単数のカメラで構成してもよく、その場合、距離画像作成手段としての画像処理手段６は、距離検出手段９としてのレーダ装置等で検出された位置データを、撮像手段２で撮像された画像中の各画素に割り当てて、前述した距離画像Ｔｚを作成するように構成される。
【００６５】
処理部１０は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部１０は、統合処理手段１１やランプ候補抽出手段１２、ランプペア候補抽出手段１３、グルーピング手段１４を備えており、本実施形態では、さらに、図示しないメモリを備えている。
【００６６】
なお、処理部１０において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部１０に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑからの測定値が入力されるようになっている。
【００６７】
以下、処理部１０の各手段における処理について説明するとともに、本実施形態に係る車両検出装置１の作用について説明する。
【００６８】
統合処理手段１１は、撮像手段２のメインカメラ２ａにより撮像された基準画像Ｔ上で、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬの明るさに相当する所定の輝度以上の輝度を有する画素を抽出し、抽出した画素が基準画像Ｔ上で隣接する場合にはそれらの画素同士を同一の画素領域として統合するようになっている。なお、この統合処理手段１１における統合処理では、前述した比較画像は用いられない。
【００６９】
以下、この統合処理手段１１における統合処理を、図３および図４に示すフローチャート等を用いて具体的に説明する。
【００７０】
なお、以下では、例えば図２に示した基準画像Ｔにおける画素を、基準画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの輝度Ｄを、輝度Ｄi,jのように表す。
【００７１】
統合処理手段１１は、撮像手段２により撮像が開始されると（ステップＳ１）、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の輝度Ｄ0,0の処理部１０への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の輝度Ｄ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。
【００７２】
統合処理手段１１は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,jを水平ラインｊ上の右隣の画素に移動させながら（ステップＳ６）、処理を続ける。
【００７３】
また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインｊまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。
【００７４】
次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１１における処理（図４のステップＳ９以降）について説明する。
【００７５】
統合処理手段１１は、まず、注目画素ｐi,jが所定の輝度Ｄth以上の輝度を有する画素であるか否かを判定し（ステップＳ９）、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth以上であれば（ステップＳ９；ＹＥＳ）、注目画素ｐi,jを抽出する。
【００７６】
この場合、上記の所定の輝度Ｄthは、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬを検出することができる輝度が設定される。すなわち、輝度Ｄとしてとり得る値の範囲が例えば０〜２５５の場合には、所定の輝度Ｄthは例えば２４０に設定される。
【００７７】
なお、以下、このように抽出された画素を抽出画素という。また、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth未満であれば（ステップＳ９；ＮＯ）、図３のステップＳ４の処理に移行する。
【００７８】
統合処理手段１１は、注目画素ｐi,jの輝度Ｄが所定の輝度Ｄth以上であると判定して注目画素ｐi,jを抽出すると（ステップＳ９；ＹＥＳ）、ステップＳ１０の判定処理に移行する。そして、図５（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの左に隣接する画素ｐi-1,jが、抽出画素であるか否かを判定する（ステップＳ１０）。
【００７９】
注目画素ｐi,jの左に隣接する画素ｐi-1,jが抽出画素である場合には（ステップＳ１０；ＹＥＳ）、統合処理手段１１は、続いて、ステップＳ１１の判定処理に移行し、図６（Ａ）に示すように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であるか否かを判定する（ステップＳ１１）。
【００８０】
そして、統合処理手段１１は、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素でなければ（ステップＳ１１；ＮＯ）、ステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jは抽出画素であったから、注目画素ｐi,jとその左に隣接する画素ｐi-1,jとを１つの画素領域ｇに統合する（ステップＳ１２）。
【００８１】
その際、図５（Ａ）に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jが統合されて、左右に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図５（Ｂ）に示すように、左に隣接する画素ｐi-1,jが既に画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００８２】
また、統合処理手段１１は、ステップＳ１１の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1が抽出画素であれば（ステップＳ１１；ＹＥＳ）、ステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jも抽出画素であったから、注目画素ｐi,jを、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合する（ステップＳ１３）。
【００８３】
その際、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと下および左に隣接する画素ｐi,j-1、ｐi-1,jが統合されて、３つの画素からなる画素領域ｇが新たに形成される。
【００８４】
また、例えば図７（Ａ）に示すように、左に隣接する画素ｐi-1,jが画素領域ｇ１に属し、下に隣接する画素ｐi,j-1が他の画素領域ｇ２に属している場合、注目画素ｐi,jが下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合されると（ステップＳ１３）、図７（Ｂ）に示すように、注目画素ｐi,jを介して画素領域ｇ１と画素領域ｇ２とが統合されて１つの画素領域ｇとなる。
【００８５】
一方、上記のステップＳ１０の判定処理で、注目画素ｐi,jの左に隣接する画素ｐi-1,jが抽出画素でない場合には（ステップＳ１０；ＮＯ）、統合処理手段１１は、続いて、ステップＳ１４の判定処理に移行し、図６（Ａ）に示したように注目画素ｐi,jが入力されるより以前に入力されて上記のステップＳ９の判定処理が行われた、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であるか否かを判定する（ステップＳ１４）。
【００８６】
そして、統合処理手段１１は、注目画素ｐi,jの下に隣接する画素ｐi,j-1が、抽出画素であれば（ステップＳ１４；ＹＥＳ）、注目画素ｐi,jとその下に隣接する画素ｐi,j-1とを１つの画素領域ｇに統合する（ステップＳ１５）。
【００８７】
その際、図６（Ａ）に示したように、下に隣接する画素ｐi,j-1が他の画素と統合されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1が統合されて、上下に隣接する２つの画素からなる画素領域ｇが新たに形成される。また、例えば図６（Ｂ）に示すように、下に隣接する画素ｐi,j-1が既に画素領域ｇに属していれば、注目画素ｐi,jが画素領域ｇに追加されるように統合され、画素領域ｇが注目画素ｐi,jの分だけ１画素分拡大する。
【００８８】
また、統合処理手段１１は、ステップＳ１４の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1が抽出画素でなければ（ステップＳ１４；ＮＯ）、今回、新たに抽出された注目画素ｐi,jを新たな画素領域ｇとして登録する（ステップＳ１６）。
【００８９】
統合処理手段１１は、ステップＳ１２、Ｓ１３、Ｓ１５の処理で注目画素ｐi,jを隣接する画素ｐと統合したり、或いは、ステップＳ１６の処理で注目画素ｐi,jを新たな画素領域ｇとして登録すると、画素領域ｇの画素数を更新し、画素領域ｇの左端ｇleft、右端ｇrightの画素の各座標や上端ｇtop、下端ｇbottomの画素の各座標、中心の座標（ｇｉ，ｇｊ）等に変更があれば更新する。
【００９０】
その際、画素領域ｇの中心の座標（ｇｉ，ｇｊ）のうち、ｇｉは画素領域ｇの左端ｇleftと右端ｇrightの中間点のｉ座標、ｇｊは画素領域ｇの上端ｇtopと下端ｇbottomの中間点のｊ座標として算出される。
【００９１】
また、例えば図７（Ｂ）に示したように、複数の画素領域ｇ１、ｇ２が統合されて１つの画素領域ｇとされた場合には、１つに統合された画素領域ｇの画素領域番号を、統合の対象となった複数の画素領域ｇ１、ｇ２の各画素領域番号のうち例えば最も小さい番号を選択する等して更新する（ステップＳ１７）。
【００９２】
そして、統合処理手段１１は、ステップＳ１７の処理を終了すると、図３のステップＳ４の判定処理以降の処理を続行する。そして、以上の処理が、基準画像Ｔの最上段の水平ラインｊまで終了すると統合処理を終了するようになっている。
【００９３】
ランプ候補抽出手段１２（図１参照）は、上記のようにして統合処理手段１１が統合した各画素領域ｇの中から、位置検出手段９が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出するようになっている。
【００９４】
すなわち、統合処理手段１１が基準画像Ｔ上で統合した画素領域ｇは、上記のように、先行車両Ｖah等の車両のウインカランプやブレーキランプ等のテールランプＴＬの明るさに相当する所定の輝度Ｄth以上の輝度Ｄを有する画素を抽出して統合されたものであるが、例えば路面から高い位置にある街路灯に対応する画素領域ｇであったり、或いは、例えば雨で濡れた路面での反射光に対応する画素領域ｇであったりする可能性がある。
【００９５】
そこで、本実施形態では、ランプ候補抽出手段１２は、統合処理手段１１が上記のようにして統合した各画素領域ｇについて、各画素領域ｇの路面からの高さｙが、車両のテールランプＴＬが存在する高さｙの範囲内にあるか否かを判定するようになっている。この範囲は、例えば路面から１０ｃｍ〜３ｍの範囲に設定される。
【００９６】
画素領域ｇの路面からの高さｙは、例えば、上記のようにして更新した画素領域ｇの上端の座標ｇtopや下端の座標ｇbottom、或いは中心のｊ座標ｇｊ（図４のステップＳ１７参照）や、基準画像Ｔに対応する距離画像Ｔｚから割り出した視差ｄｐを上記（３）式や（２）式に代入して算出される実空間上の高さＹとして算出することができる。
【００９７】
また、例えば、処理部１０内に、路面自体の高さを検出する路面検出手段を別に設け、上記の実空間上の高さＹから路面自体の高さを減算した値を画素領域ｇの路面からの高さｙとするように構成することも可能である。
【００９８】
そして、ランプ候補抽出手段１２は、各画素領域ｇについて上記の判定を行い、画素領域ｇの路面からの高さｙが上記の設定範囲内にあれば、その画素領域ｇをランプ候補ｇＬとして抽出するようになっている。このようにして、画素領域ｇは、ランプ候補ｇＬと、それ以外の画素領域ｇとに分類される。
【００９９】
なお、このランプ候補抽出手段１２におけるランプ候補ｇＬの抽出処理を、上記のように、統合処理手段１１が全ての画素領域ｇを統合し終えた後で行うように構成してもよく、また、統合処理手段１１が統合処理を行っている最中に行うように構成することも可能である。すなわち、統合処理手段１１が注目画素ｐi,jを画素領域ｇに統合したり（図４のステップＳ１２、Ｓ１３、Ｓ１５参照）、新たな画素領域ｇとして登録（ステップＳ１６参照）するごとにランプ候補抽出手段１２が行うように構成することも可能である。
【０１００】
ランプペア候補抽出手段１３（図１参照）は、上記のようにしてランプ候補抽出手段１２により抽出された各ランプ候補ｇＬの中から、位置検出手段９により検出された位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、車両の左右のテールランプＴＬに対応する可能性があるランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている。
【０１０１】
また、近年、車両の背面部分に、ウインカランプやブレーキランプ等の左右のテールランプＴＬの他に、左右のテールランプの左右方向の中間部分の上部にハイマウントストップランプが設けられた車両が増えているため、ランプペア候補抽出手段１３は、このようにハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補ｇＬも、左右のテールランプＴＬに対応するランプ候補ｇＬの組み合わせであるランプペア候補ＰｇＬに追加するようになっている。
【０１０２】
以下、本実施形態でのランプペア候補抽出手段１３におけるランプペア候補ＰｇＬの抽出処理について、図８に示すフローチャートを用いて説明する。
【０１０３】
ランプペア候補抽出手段１３は、全てのランプ候補ｇＬの組み合わせについて下記の判定処理を行っていなければ（ステップＳ２０；ＮＯ）、ランプ候補抽出手段１２により抽出された各ランプ候補ｇＬの中から任意に２つのランプ候補ｇＬを選択する（ステップＳ２１）。そして、選択した２つのランプ候補ｇＬが、車両の左右のテールランプＴＬとしてふさわしい条件を満たすか否かを判定する（ステップＳ２２）。
【０１０４】
具体的には、ステップＳ２２の判定処理において、ランプペア候補抽出手段１３は、選択した２つのランプ候補ｇＬのうちの一方のランプ候補ｇＬの画素数の、他方のランプ候補ｇＬの画素数に対する比が、例えば０．５倍〜１．５倍等の所定範囲内であるか否かを判定する。
【０１０５】
また、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬの基準画像Ｔにおける縦方向の画素数（例えば当該ランプ候補ｇＬとしての画素領域ｇの前述した上端の座標ｇtopと下端の座標ｇbottomの差）の、他方のランプ候補ｇＬの基準画像Ｔにおける縦方向の画素数に対する差が、例えば１０画素以内等の所定範囲内であるか否かを判定する。
【０１０６】
ランプ候補ｇＬの大きさすなわち基準画像Ｔ中における各画素数や、縦方向の大きさが違い過ぎる場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の２つの条件は、このような場合を排除するための条件である。
【０１０７】
また、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬと他方のランプ候補ｇＬの実空間上での左右方向の間隔が、車両１台分に相当する例えば２．５ｍ等の幅以内であるか否かを判定する。一方のランプ候補ｇＬと他方のランプ候補ｇＬの実空間上での左右方向の間隔は、例えば図９に示すように、右側のランプ候補ｇＬの右端ｇrightの画素に対応する実空間上のＸ座標Ｘｒと、左側のランプ候補ｇＬの左端ｇleftの画素に対応する実空間上のＸ座標Ｘｌとの差分ΔＸとして算出される。
【０１０８】
ランプ候補ｇＬ同士の左右方向の間隔ΔＸが車両１台分に相当する幅よりもかけ離れて大きい場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
【０１０９】
さらに、ランプペア候補抽出手段１３は、一方のランプ候補ｇＬの実空間上での距離Ｚ（視差ｄｐに対応する。）および高さＹが、それぞれ他方のランプ候補の実空間上の位置から所定の範囲内にあるか否かを判定する。例えば、一方のランプ候補ｇＬの実空間上での距離Ｚや高さＹが、他方のランプ候補の実空間上の距離Ｚや高さＹの０．８倍〜１．２倍等の範囲内であるか否かを判定する。距離Ｚと高さＹのいずれかが上記の所定の範囲内にない場合には、条件を満たすとは判定されない。
【０１１０】
ランプ候補ｇＬ同士の距離Ｚや高さＹの差があまりにも大きい場合には、選択した２つのランプ候補ｇＬを車両の左右のテールランプＴＬに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
【０１１１】
例えば、前述したように、自車両が片側複数車線の道路を走行しており先行車両Ｖahの右隣の車線に例えば同型の車両が走行しているような場合に、基準画像Ｔ上で、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応する４つのランプ候補ｇＬが横方向に並ぶ場合があり、従来の特許文献２に記載の手法を採用した場合には、先行車両Ｖahの右側のテールランプＴＬと右隣の車線を走行している車両の左側のテールランプＴＬとを１台の車両の左右のテールランプＴＬとして検出してしまう可能性があった。
【０１１２】
しかし、本実施形態では、このように基準画像Ｔ上で４つのランプ候補ｇＬが横方向に並ぶ場合でも、位置検出手段９が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段６が作成した距離画像Ｔｚに基づいて、先行車両Ｖahの右側のテールランプＴＬと右隣の車両の左側のテールランプＴＬとの視差ｄｐや実空間上での距離Ｚが有意に異なる値である場合には、ランプペア候補抽出手段１３によりランプペア候補ＰｇＬとしては抽出されない。
【０１１３】
このように、本実施形態では、上記のような場合でも、それぞれ他の車両の背面部分に設けられた各テールランプＴＬを、誤って１台の車両の左右のテールランプＴＬとして検出する可能性を低減することが可能となる。
【０１１４】
本実施形態では、ランプペア候補抽出手段１３は、選択した２つのランプ候補ｇＬが、上記の各条件のうちのいずれかの条件を満たす場合に（ステップＳ２２；ＹＥＳ）当該２つのランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている（ステップＳ２３）。そして、このランプペア候補ＰｇＬの抽出処理を、ランプ候補抽出手段１２により抽出されたランプ候補ｇＬ同士における全ての組み合わせについて行う（ステップＳ２０；ＮＯ）。
【０１１５】
また、前述したように、車両によっては、ハイマウントストップランプが設けられている場合があるため、ランプペア候補抽出手段１３は、引き続き、ハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補ｇＬも、左右のテールランプＴＬに対応するランプ候補ｇＬの組み合わせであるランプペア候補ＰｇＬに追加するようになっている。
【０１１６】
具体的には、ランプペア候補抽出手段１３は、上記のランプペア候補ＰｇＬの抽出処理をランプ候補ｇＬ同士の全ての組み合わせについて行うと（ステップＳ２０；ＹＥＳ）、続いて、抽出した各ランプペア候補ＰｇＬについて、図１０に示すように、抽出したランプペア候補ＰｇＬとしての左右のランプ候補ｇＬの間に存在し、かつ、左右のランプ候補ｇＬの基準画像Ｔにおける上側の位置に、別のランプ候補ｇＬが存在するか否かを判定する（ステップＳ２４）。
【０１１７】
そして、図１０に示すように、上記の位置に別のランプ候補ｇＬが存在する場合には（ステップＳ２４；ＹＥＳ）、当該別のランプ候補ｇＬをハイマウントストップランプとして、左右のランプ候補ｇＬからなる当該ランプペア候補ＰｇＬに追加するようになっている（ステップＳ２５）。
【０１１８】
しかし、ハイマウントストップランプとして追加したランプ候補ｇＬが、図１１に示すように、追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属している場合、基準画像Ｔ中で、当該ランプ候補ｇＬが追加される前のランプペア候補ＰｇＬ０の上側に別のランプペア候補ＰｇＬ２が撮像されているという異常な状態になっている。
【０１１９】
そこで、本実施形態では、ランプペア候補抽出手段１３は、このように、ハイマウントストップランプとして追加したランプ候補ｇＬが、当該ランプ候補ｇＬが追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属しているか否かを判定する（ステップＳ２６）。
【０１２０】
そして、追加したランプ候補ｇＬが、当該ランプ候補ｇＬが追加されたランプペア候補ＰｇＬ１とは別のランプペア候補ＰｇＬ２に属している場合には（ステップＳ２６；ＹＥＳ）、図１２に示すように、追加したランプ候補ｇＬを、追加された元のランプペア候補ＰｇＬ１から除外するようになっている（ステップＳ２７）。この場合、図１１に示したランプペア候補ＰｇＬ１は、図１２に示すように、結局、元のランプペア候補ＰｇＬ０に戻る。
【０１２１】
そして、本実施形態では、この場合、ランプペア候補抽出手段１３は、さらに、追加を除外されたランプ候補ｇＬが属する当該別のランプペア候補ＰｇＬ２（図１１参照）については、図１２に示すように、ランプペア候補としての指定を解除するようになっている。また、追加を除外されたランプ候補ｇＬについては、ランプ候補としての指定も解除するように構成することも可能である。
【０１２２】
ランプペア候補抽出手段１３は、上記のステップ２４からステップＳ２７までの処理を、抽出した全てのランプペア候補ＰｇＬについて行うようになっている（ステップＳ２８）。
【０１２３】
本実施形態では、上記のように、ランプ候補抽出手段１２は、前述したように統合処理手段１１が統合した各画素領域ｇの中から車両のテールランプＴＬに対応する可能性がある画素領域ｇをランプ候補ｇＬとして抽出し、また、ランプペア候補抽出手段１３は、ランプ候補抽出手段１２が抽出した各ランプ候補ｇＬの中から、車両の左右のテールランプＴＬやハイマウントストップランプに対応する可能性があるランプ候補ｇＬの組み合わせをランプペア候補ＰｇＬとして抽出するようになっている。
【０１２４】
グルーピング手段１４（図１参照）は、本実施形態では、基本的には前述した図２０〜図２６に示した特許文献１に記載の手法をベースとして位置検出手段により検出された位置データをグループ化するように構成されているが、上記のランプ候補抽出手段１２やランプペア候補抽出手段１３における処理結果、すなわちランプ候補やランプペア候補の情報を用いて再グルーピング処理を行うように構成されている点で異なる処理になっている。
【０１２５】
本実施形態では、グルーピング手段１４は、位置検出手段９が検出した位置データをグループ化し、グループ化して生成した位置データを含む各グループＧについて、ランプ候補抽出手段１３により抽出されたランプ候補ｇＬに属する位置データを含むグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループ同士を再グルーピングする。ランプ候補ｇＬに属する位置データを含むグループＧをＧＬと表す。
【０１２６】
そして、その後で、ランプ候補ｇＬに属さない位置データを含むグループＧを含む全てのグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧ同士を再グルーピングするようにして、位置データを含むグループ化処理およびグループの再グルーピング処理を行うようになっている。
【０１２７】
その際、このグルーピング手段１４における再グルーピング処理では、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングを行う際の位置データに関する閾値が、その後の全てのグループＧ同士の再グルーピングを行う際の閾値よりも、再グルーピングし易い閾値とされるようになっている。
【０１２８】
なお、グループ化とグルーピングとは、本来、同じ意味であるが、本発明では、位置検出手段９が検出した位置データをグループ化する処理を、グループ化処理といい、グループ化処理により生成されたグループ同士を再びグループ化する処理を、再グルーピング処理というものとする。
【０１２９】
以下、本実施形態でのグルーピング手段１４におけるグループ化処理および再グルーピング処理について、図１３および図１４に示すフローチャートを用いて説明する。
【０１３０】
本実施形態では、グルーピング手段１４は、前述した図２０に示したように、まず、距離画像作成手段である画像処理手段６（図１参照）が作成した距離画像Ｔｚを、所定の画素幅で縦方向に延在する短冊状の複数の区分Ｄｎに分割し（ステップＳ４０）、図２１に示したように、各区分ＤｎごとにヒストグラムＨｎを作成する（ステップＳ４１）。
【０１３１】
従来の特許文献１に記載の手法では、ここで、区分Ｄｎに属する各画素に割り当てられた視差ｄｐや距離Ｚを、当該区分Ｄｎに対応するヒストグラムＨｎに投票するように構成されている。しかし、本実施形態では、グルーピング手段１４は、ここで、ランプ候補抽出手段１２（図１参照）が抽出したランプ候補ｇＬの情報を活用するようになっている。
【０１３２】
具体的には、グルーピング手段１４は、各区分Ｄｎごとに、区分Ｄｎ内にランプ候補抽出手段１２が抽出したランプ候補ｇＬが存在するか否かを判定する（ステップＳ４２）。そして、区分Ｄｎ内にランプ候補ｇＬが存在する場合には（ステップＳ４２；ＹＥＳ）、ランプ候補ｇＬ中の各画素に割り当てられた位置データ（ｉ，ｊ，ｄｐ）における距離の情報すなわち本実施形態では視差ｄｐを、ヒストグラムＨｎに投票する（ステップＳ４３）。
【０１３３】
この場合、当該区分Ｄｎ内に、ランプ候補ｇＬ以外の画素に視差ｄｐが割り当てられていても、その視差ｄｐは当該ヒストグラムＨｎには投票されない。そして、グルーピング手段１４は、例えば当該ヒストグラムＨｎにおける最頻値が属する階級の階級値を、当該区分Ｄｎにおける代表距離すなわち本実施形態では代表視差ｄｐｎとして算出する（ステップＳ４４）。
【０１３４】
また、グルーピング手段１４は、区分Ｄｎ内にランプ候補ｇＬが存在しない場合には（ステップＳ４２；ＮＯ）、特許文献１に記載された手法と同様に、当該区分Ｄｎ内の各画素に割り当てられた位置データにおける距離の情報すなわち視差ｄｐをヒストグラムＨｎに投票し（ステップＳ４５）、例えば当該ヒストグラムＨｎにおける最頻値が属する階級の階級値を、当該区分Ｄｎにおける代表視差ｄｐｎ（代表距離）として算出する（ステップＳ４６）。
【０１３５】
ただし、この場合、算出した代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎ（図２１参照）が、例えば最頻値であるとしても小さい度数Ｆｎである場合には、算出された代表視差ｄｐｎの信頼性が低くなる。
【０１３６】
そこで、本実施形態では、グルーピング手段１４は、上記のように、区分Ｄｎ内にランプ候補ｇＬが存在しない場合（ステップＳ４２；ＮＯ）に算出した当該区分Ｄｎの代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎが、予め設定された所定値未満であるか否かを判定する（ステップＳ４７）。
【０１３７】
そして、代表視差ｄｐｎに対応する度数Ｆｎが所定値未満である場合には（ステップＳ４７；ＹＥＳ）、当該区分Ｄｎについては代表視差ｄｐｎを無効とするようになっている（ステップＳ４８）。そのため、グルーピング手段１４は、代表視差ｄｐｎを無効とした区分Ｄｎについては、代表視差ｄｐｎがないものとして以下のグループ化処理を行う。
【０１３８】
なお、この代表視差ｄｐｎに対応する度数Ｆｎに基づく代表視差ｄｐｎを無効とするか否かの判定処理（ステップＳ４７）は、区分Ｄｎ内にランプ候補ｇＬが存在する場合（ステップＳ４２；ＹＥＳ）には行われない。そのため、この場合には、ステップＳ４４の処理で算出された代表視差ｄｐｎに対応するヒストグラムＨｎの階級の度数Ｆｎが小さな度数Ｆｎであっても、代表視差ｄｐｎが無効とされることはない。
【０１３９】
そして、グルーピング手段１４は、全ての区分ＤｎについてステップＳ４２〜Ｓ４８の各処理を行っていなければ（ステップＳ４９；ＮＯ）、各区分ＤｎについてステップＳ４２〜Ｓ４８の各処理を行い、代表視差ｄｐｎが無効とされて存在しない場合も含めて、全ての区分Ｄｎについて代表視差ｄｐｎを算出する。
【０１４０】
上記のように構成すると、区分Ｄｎ内に、ランプ候補ｇＬ中の各画素に割り当てられた視差ｄｐから算出された代表視差ｄｐｎとは異なる視差ｄｐが割り当てられた画素が、ランプ候補ｇＬ中の代表視差ｄｐｎが割り当てられた各画素よりも多く存在する場合でも（すなわち前者の度数Ｆｎが後者の度数Ｆｎより多い場合でも）、区分Ｄｎ内にランプ候補ｇＬが存在する場合には、ランプ候補ｇＬ中の各画素の視差ｄｐから算出された代表視差ｄｐｎが当該区分Ｄｎの代表視差ｄｐｎ（代表距離）として優先的に算出される。
【０１４１】
そのため、区分Ｄｎ内にランプ候補ｇＬが存在する場合には、区分Ｄｎ内に存在するランプ候補ｇＬ以外の部分の画素に割り当てられた視差ｄｐではなく、車両のテールランプＴＬに対応するランプ候補ｇＬにおける代表視差ｄｐｎを、当該区分Ｄｎの代表視差ｄｐｎとして確実に抽出することが可能となる。
【０１４２】
本実施形態では、グルーピング手段１４は、上記のようにして各区分Ｄｎごとの代表視差ｄｐｎ（代表距離）を算出すると（ステップＳ４４、Ｓ４６、Ｓ４８）、特許文献１に記載された手法と同様に、代表視差ｄｐｎを含む各区分Ｄｎの位置データをグルーピングの対象としてグループ化処理を行うようになっている（ステップＳ５０）。
【０１４３】
各区分Ｄｎごとに算出した代表視差ｄｐｎと、例えば短冊状の各区分Ｄｎの横方向（すなわち図２０に示した距離画像Ｔｚにおけるｉ軸方向）の画素幅の中間点のｉ座標を上記の（１）式および（３）式に代入して、各区分Ｄｎごとの代表視差ｄｐｎに対応する実空間上の２次元の位置データ（Ｘ，Ｚ）を算出して実空間平面上にプロットすると、各区分Ｄｎごとの代表視差ｄｐｎに対応する実空間上の各点は、図２３に示したように、自車両前方の各車両に対応する部分に多少ばらつきを持ってプロットされる。
【０１４４】
グルーピング手段１４は、このようにプロットされた各点について、実空間上で隣接する点同士のＸ軸方向（左右方向）の間隔が設定された閾値以内であり、かつ、Ｚ軸方向（距離方向）の間隔が設定された閾値以内であるか否かを判定し、Ｘ軸方向の間隔とＺ軸方向の間隔がともに各閾値以内である場合に、それらの隣接する点を１つのグループＧとしてグループ化するようになっている。
【０１４５】
また、グルーピング手段１４は、グループ化した１つのグループＧの中に、左右方向（すなわちＸ軸方向）に延在する各点の部分と距離方向（すなわちＺ軸方向）に延在する各点の部分とが存在する場合には、図２４に示したように、グループ化した１つのグループＧをその方向性に応じて複数のグループＧに分離するようになっている（ステップＳ５１）。なお、この点については特許文献１等に詳述されており、参照されたい。
【０１４６】
グルーピング手段１４は、続いて、上記のようにしてグループ化（ステップＳ５０）および分離（ステップＳ５１）を行って生成された各グループＧの再グルーピング処理を行うようになっている。
【０１４７】
具体的には、図１４のフローチャートに示すように、グルーピング手段１４は、まず、生成したグループＧ中に、前述したランプペア候補抽出手段１３により抽出されたランプペア候補ＰｇＬに属する位置データが含まれているか否かを判定する（ステップＳ５２）。
【０１４８】
そして、グループＧ中にランプペア候補ＰｇＬに属する位置データが含まれている場合（ステップＳ５２；ＹＥＳ）には、当該グループ中の、ランプペア候補ＰｇＬを構成する各ランプ候補ｇＬに属する位置データ（すなわち図２４における各点）と、各ランプ候補ｇＬに属さない位置データとを強制的に分離して、それぞれ別のグループＧとするようになっている。すなわち、グループＧを、ランプ候補ｇＬに属する位置データからなるグループＧＬと、ランプ候補ｇＬに属する位置データを含まないグループＧに分離する。
【０１４９】
前述したように、例えば図３１に示したようなシーンでは、従来の特許文献１に記載された手法では、図３２に示したように、先行車両Ｖahである平ボディの荷台付きトラックの荷台Ｐの後あおりＢの左側のエッジ部分が、右側のエッジ部分とグループ化できず、生垣Ｈと一体化されて１つのグループとされてしまう場合があった。
【０１５０】
しかし、本実施形態では、上記のグループ化処理（図１３のステップＳ５０）で、仮に先行車両Ｖahである平ボディの荷台付きトラックの左側のテールランプＴＬｌ（図３１参照）と生垣Ｈとが１つのグループとしてグループ化されたとしても、ランプペア候補抽出手段１３により左側のテールランプＴＬｌと右側のテールランプＴＬｒに対応する各ランプ候補ｇＬがランプペア候補ＰｇＬとして抽出されている。
【０１５１】
そのため、図１４のステップＳ５２の判定処理とステップＳ５３の分離処理を行うことで、図１５に示すように、左側のテールランプＴＬｌと生垣Ｈとが含まれていた１つのグループを、左側のテールランプＴＬｌを含むグループＧＬと、生垣Ｈを含むがランプ候補ｇＬに属する位置データを含まないグループＧとを分離して、それぞれ別のグループＧＬ、Ｇに的確に分離することが可能となる。
【０１５２】
なお、この場合、距離画像Ｔｚの１つの区分Ｄｎ（図２０参照）内に、平ボディの荷台付きトラックの前壁ＦやキャブＣａの背面部分と左側のテールランプＴＬｌ（右側のテールランプＴＬｒについても同様）とが含まれる場合がある。
【０１５３】
しかし、上記のように、このような区分Ｄｎで、仮に前壁ＦやキャブＣａのエッジ部分に対応する各画素に多くの視差ｄｐが算出されるとしても、左側のテールランプＴＬｌに対応するランプ候補ｇＬ中の各画素の視差ｄｐから算出された代表視差ｄｐｎが当該区分Ｄｎの代表視差ｄｐｎとして優先的に算出される。
【０１５４】
そのため、左側のテールランプＴＬｌに対応する代表視差ｄｐｎや位置データが確実に抽出される。そして、そのため、上記のように、グルーピング手段１４で分離処理（ステップＳ５２、Ｓ５３）を行うことで、左側のテールランプＴＬｌに対応するグループＧＬとが、確実に生垣Ｈに対応するグループＧと分離されて、それぞれ別のグループとされる。
【０１５５】
グルーピング手段１４は、続いて、各グループＧの中から、ランプ候補ｇＬに属する位置データを含む１つのグループＧＬを任意に選択し（ステップＳ５４）、当該グループＧＬと、他のランプ候補ｇＬに属する位置データを含むグループＧＬとの全ての組み合わせについて、再グルーピングの可否を判定する（ステップＳ５５）。
【０１５６】
この場合、再グルーピングの可否の判定においては、例えば、以下の２つの条件をともに満たす場合に再グルーピング可能と判定するように構成することが可能である。
【０１５７】
すなわち、再グルーピングの可否の判定における１つめの閾値Δｄｐth（或いはΔｚth）として、２つのグループＧＬに属する各位置データのうち、相手方のグループに最も近接する位置データを各グループＧＬ中に１つずつ選び出し、その位置データ同士の代表視差ｄｐｎ（或いは代表距離Ｚｎ。以下同じ）の差異Δｄｐ（或いは差異Δｚ）が１０％以内、すなわち一方のグループＧＬから選ばれた位置データにおける代表視差ｄｐｎに対する、他方のグループＧＬから選ばれた位置データにおける代表視差ｄｐｎの比が０．９倍〜１．１倍の範囲内とし、この範囲内にあるか否かを判定する。
【０１５８】
また、再グルーピングの可否の判定における２つめの閾値Δｘthとして、２つのグループＧＬからそれぞれ選ばれた上記の２つの位置データについて、それらの実空間上の左右方向の位置（すなわち各Ｘ座標）の間隔Δｘが２ｍ以内とし、この範囲内にあるか否かを判定する。
【０１５９】
そして、本実施形態では、グルーピング手段１４は、選択した当該グループＧＬと他のグループＧＬとの組み合わせについて、上記の２つの条件がともに満たされた場合に再グルーピング可能と判定し、再グルーピング可能と判定した当該グループＧＬと他のグループＧＬ同士を再グルーピングするようになっている（ステップＳ５５）。
【０１６０】
そして、選択した当該グループＧＬと他のグループＧＬとの全ての組み合わせについて上記の再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている。
【０１６１】
また、グルーピング手段１４は、全てのグループＧＬについて上記の他のグループＧＬとの再グルーピングの可否の判定および実施を行っていなければ（ステップＳ５６；ＮＯ）、全てのグループＧＬについて上記の他のグループＧＬとの再グルーピングの可否の判定および実施の処理（ステップＳ５４、Ｓ５５）を繰り返すようになっている。
【０１６２】
このランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthは、後述するその後の全てのグループＧ同士の再グルーピングを行う際の閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊よりも、再グルーピングし易い閾値とされている。
【０１６３】
また、上記のように、ランプ候補ｇＬに属する位置データを含まないグループＧを除外して、先にランプ候補ｇＬに属する位置データを含むグループＧＬについて、再グルーピングし易い閾値Δｄｐth（或いはΔｚth）、Δｘthを用いて再グルーピング処理を行うように構成することで、例えば前述した図３１に示したようなシーンにおいて、図１５に示すようにグループ化された各グループＧのうち、ランプ候補ｇＬに属する位置データを含む左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについて、先に再グルーピングの可否を判定することが可能となる。
【０１６４】
そして、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについては、上記の２つの条件がともに満たされるため、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを優先的に再グルーピングすることが可能となり、図１６に示すように、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを、新たな１つのグループＧＬとすることが可能となる。
【０１６５】
グルーピング手段１４は、ランプ候補ｇＬに属する位置データを含む全てのグループＧＬについて上記の処理を行うと（ステップＳ５６；ＹＥＳ）、続いて、再グルーピングされたグループＧＬや再グルーピングされなかったグループＧＬを含む全てのグループＧの組み合わせについて再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている（ステップＳ５７）。
【０１６６】
その際、ステップＳ５７の再グルーピングの可否の判定における閾値は、例えば、上記の１つめの閾値Δｄｐth＊（或いはΔｚth＊）として、上記の差異Δｄｐ（或いはΔｚ）が５％以内とされ、また、２つめの閾値Δｘth＊として、上記の実空間上の左右方向の間隔Δｘが１ｍ以内とされるなど、上記のランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthよりも、再グルーピングし難い閾値とされている。
【０１６７】
実際には、ステップＳ５７の再グルーピングの可否の判定における閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊は、再グルーピングし難い閾値というよりも、寧ろ、例えば図３１や図３２に示したような問題は生じるとしても、例えば図１８に示したような通常のシーンにおいては車両を含む各物体を適切に切り分けて検出することができる閾値として設定される。
【０１６８】
そして、ステップＳ５５の判定処理で用いられる、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否の判定における閾値Δｄｐth（或いはΔｚth）、Δｘthの方が、それよりもいわば緩い閾値とされて、再グルーピングし易くなるように設定されている。
【０１６９】
グルーピング手段１４は、以上の処理が終了すると、続いて、生成したグループＧがランプ候補ｇＬに属する位置データを含むグループＧＬであれば（ステップＳ５８；ＹＥＳ）、当該グループＧ（すなわちグループＧＬ）を、車両の背面部分に対応するグループとして識別し（ステップＳ５９）、検出したグループＧ（すなわちグループＧＬ）の情報をメモリに保存する。
【０１７０】
また、生成したグループＧがランプ候補ｇＬに属する位置データを含まないグループＧであっても（ステップＳ５８；ＮＯ）、当該グループＧ内の各位置データが実空間上で左右方向（すなわちＸ軸方向）に延在している場合には（ステップＳ６０；ＹＥＳ）、当該グループＧを車両の背面部分に対応するグループとして識別し（ステップＳ５９）、検出したグループＧの情報をメモリに保存する。
【０１７１】
なお、この段階で、車両の背面部分に対応するグループとして識別した各グループＧＬ、Ｇについて、例えば、その識別の確からしさを表す確率を算出するように構成することも可能である。
【０１７２】
その際、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補ｇＬに属する位置データを含むグループＧＬである場合には、高い確率が割り当てられるように構成し、また、ランプ候補ｇＬに属する位置データを含む当該グループＧＬの中に、ランプペア候補抽出手段１３により抽出された１つのランプペア候補ＰｇＬを構成する全てのランプ候補ｇＬ（ハイマウントストップランプに対応するランプ候補ｇＬが含まれることがあることは前述した通り。）が含まれる場合には、さらに高い確率が割り当てられるように構成することが可能である。
【０１７３】
そして、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補ｇＬに属する位置データを含まないグループＧである場合には、より低い確率が割り当てられるように構成することが可能である。
【０１７４】
一方、グルーピング手段１４は、生成したグループＧがランプ候補ｇＬに属する位置データを含まないグループＧであって（ステップＳ５８；ＮＯ）、しかも、当該グループＧ内の各位置データが実空間上で距離方向（すなわちＺ軸方向）に延在している場合には（ステップＳ６０；ＮＯ）、当該グループＧを車両の背面部分に対応するグループとしては識別せず、車両の側面部分や前述した生垣Ｈ（図３１等参照）のように自車両の進行方向（すなわちＺ軸方向）に延在する物体であるとして識別する。なお、この情報をメモリに保存するか否かは適宜決められる。
【０１７５】
なお、車両の背面部分に対応するグループとして識別したグループＧＬ、Ｇや、自車両の進行方向（すなわちＺ軸方向）に延在する物体であるとして識別したグループＧＬ、Ｇについて、図２５に示したように各グループＧＬ、Ｇに属する各位置データをそれぞれ直線近似したり、図２６に示したように検出したＧＬ、Ｇに対応する車両等の物体を基準画像Ｔ上にそれぞれ矩形状の枠線等で包囲して表示する等の処理が適宜行われる。
【０１７６】
グルーピング手段１４は、全てのグループＧＬ、Ｇについて上記の処理を行っていなければ（ステップＳ６１；ＮＯ）、上記のステップＳ５８〜Ｓ６０の各処理を繰り返して行う。また、全てのグループＧＬ、Ｇについて上記の処理を行うと（ステップＳ６１；ＹＥＳ）、グルーピング手段１４は、検出したグループＧＬ、Ｇの中から先行車両Ｖahに対応するグループＧahを特定して（ステップＳ６２）、処理を終了する。
【０１７７】
そして、処理部１０は、グルーピング手段１４が上記の処理を終了すると、メモリに保存された必要な情報を外部装置に送信するとともに、図３に示したステップＳ１から新たに一連の処理を再開するようになっている。
【０１７８】
なお、図１４のステップＳ６２における処理では、例えば以下のようにして、先行車両Ｖahを特定するように構成することが可能である。なお、後述する図１７では、図２６に示した場合と同様に、位置データが左右方向に延在するグループＧＬ、ＧがグループＯとして表記され、位置データが距離方向に延在するグループＧＬ、ＧがグループＳとして表記されている。
【０１７９】
先行車両Ｖahの特定処理では、図１７に示すように自車両の挙動（すなわち車速やヨーレート、ステアリングホイールの舵角等）に基づいて自車両が今後進行するであろう軌跡を走行軌跡Ｌestとして推定する。
【０１８０】
すなわち、自車両の走行軌跡Ｌestは、自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（４）式または下記（５）、（６）式に従って算出される自車両の旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（４）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ） …（５）
Ｃua＝１／Ｒｅ …（６）
【０１８１】
そして、先行車両Ｖahに対応するグループＧahは、図１７に示すように、自車両の走行軌跡Ｌest上に存在するグループＧＬまたはグループＧ（すなわちクループＯ）、或いは、走行軌跡Ｌestを中心とする自車両の車幅分の領域内に存在するクループＯとして検出することができる。例えば図１７では、グループＯ３が先行車両Ｖahに対応するグループＧahとして検出される。
【０１８２】
なお、前回のサンプリング周期で検出した先行車両Ｖahに対応するグループＧahと、今回のサンプリング周期で先行車両Ｖahに対応するグループＧahが、同一の車両に対応するグループＧahである確率を算出する等して、整合性を保ちながら先行車両Ｖahを追跡するように構成することが可能である。
【０１８３】
このように構成すれば、検出した先行車両Ｖahが自車両の前方から離脱してさらにその前方の車両が新たに先行車両Ｖahとなったり、自車両と先行車両Ｖahとの間に他の車両が割り込んできて当該他の車両が新たな先行車両Ｖahとなることによる先行車両Ｖahの交替等を的確に検出することが可能となる。
【０１８４】
以上のように、本実施形態に係る車両検出装置１によれば、グルーピング手段１４は、前述した特許文献１に記載された手法と同様に、位置検出手段９により検出された位置データをグループ化して車両を含む各物体に対応する各グループＧを生成する。
【０１８５】
しかし、本実施形態では、グルーピング手段１４は、グループ化して生成した各グループＧについてさらに処理を行い、ランプ候補抽出手段１２が抽出したランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧＬ同士を再グルーピングする。そして、その後で、グループＧＬを含む全てのグループＧ同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループＧＬ、Ｇ同士を再グルーピングするように構成した。
【０１８６】
しかも、その際、ランプ候補ｇＬに属する位置データを含むグループＧＬ同士の再グルーピングを行う際の位置データに関する閾値Δｄｐth（或いはΔｚth）、Δｘthを、その後の全てのグループＧＬ、Ｇ同士の再グルーピングを行う際の閾値Δｄｐth＊（或いはΔｚth＊）、Δｘth＊よりも、再グルーピングし易い閾値となるように構成した。
【０１８７】
このように、ランプ候補ｇＬに属する位置データを含まないグループＧを除外して、先にランプ候補ｇＬに属する位置データを含むグループＧＬについて、再グルーピングし易い閾値Δｄｐth（或いはΔｚth）、Δｘthを用いて再グルーピング処理を行うように構成したため、例えば前述した図３１に示したようなシーンにおいても、図１５に示すようにグループ化された各グループＧのうち、ランプ候補ｇＬに属する位置データを含む左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬについて、先に再グルーピングの可否を判定することが可能となる。
【０１８８】
そして、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを優先的に再グルーピングすることが可能となり、図１６に示すように、左右のテールランプＴＬｌ、ＴＬｒに対応する各グループＧＬを、新たな１つのグループＧＬとすることが可能となる。
【０１８９】
このように、本実施形態に係る車両検出装置１によれば、車両のウインカランプやブレーキランプ等のテールランプＴＬに対応するランプ候補ｇＬ同士の再グルーピングの可否を先に判定し、再グルーピングを行ってそれらを新たな１つのグループＧＬとした上で、他のグループＧＬ、Ｇとの再グルーピングの可否が判定されるため、車両の左右のテールランプＴＬに対応するグループＧＬを基準として、車両に対応するグループＧを検出することが可能となる。
【０１９０】
そのため、位置検出手段９により検出された位置データを的確にグループ化して、先行車両Ｖahを含む車両を的確に検出することが可能となる。
【０１９１】
なお、本発明が上記の実施形態に限定されず、適宜変更可能であることはいうまでもない。
【符号の説明】
【０１９２】
１ 車両検出装置
２ 撮像手段
６ 画像処理手段（距離画像作成手段）
９ 位置検出手段
１１ 統合処理手段
１２ ランプ候補抽出手段
１３ ランプペア候補抽出手段
１４ グルーピング手段
Ｄｎ 区分
ｄｐ 視差（距離）
ｄｐｎ 代表視差（代表距離）
Ｇ グループ
ｇ 画素領域
ＧＬ ランプ候補に属する位置データを含むグループ
ｇＬ ランプ候補
Ｈｎ ヒストグラム
（ｉ，ｊ，ｄｐ） 位置データ
ｐ 画素
ＰｇＬ ランプペア候補
Ｔ 基準画像（画像）
ＴＬ テールランプ
ＴＬｌ、ＴＬｒ 左右のテールランプ
Ｔｚ 距離画像
Ｖah 先行車両（車両）
（Ｘ，Ｙ，Ｚ） 位置データ
Ｙ 実空間上での高さ
ｙ 路面からの高さ
Ｚ 距離
Ｚｎ 代表距離
Δｄｐth、Δｚth、Δｘth 閾値
Δｄｐth＊、Δｚth＊、Δｘth＊ 閾値
ΔＸ 間隔
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像中の各画素について距離を含む位置データを検出する位置検出手段と、
前記画像上で、所定の輝度以上の輝度を有する画素を抽出し、抽出した前記画素が前記画像上で隣接する場合には前記画素同士を同一の画素領域として統合する統合処理手段と、
前記統合処理手段が統合した前記各画素領域の中から、前記位置検出手段が検出した前記位置データに基づいて、車両のテールランプに対応する可能性がある前記画素領域をランプ候補として抽出するランプ候補抽出手段と、
前記位置検出手段により検出された前記位置データをグループ化し、グループ化して生成した前記各グループについて、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングした後で、全ての前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングするグルーピング手段と、
を備え、
前記グルーピング手段における前記再グルーピング処理では、前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値が、その後の全ての前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値よりも、再グルーピングし易い閾値とされていることを特徴とする車両検出装置。
【請求項２】
前記グルーピング手段は、前記再グルーピングの結果、生成した前記グループが、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含むグループである場合には、当該グループを、車両の背面部分に対応するグループとして識別することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
さらに、前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、前記位置検出手段により検出された前記位置データに基づいて、車両の左右のテールランプを含むテールランプに対応する可能性があるランプ候補の組み合わせをランプペア候補として抽出するランプペア候補抽出手段を備え、
前記グルーピング手段は、前記位置データをグループ化して生成した前記グループ中に、前記ランプペア候補抽出手段により抽出された前記ランプペア候補に属する前記位置データが含まれている場合には、前記ランプペア候補を構成する前記各ランプ候補に属する前記位置データと、前記各ランプ候補に属さない前記位置データとを分離して、それぞれ別のグループとして前記再グルーピング処理を行うことを特徴とする請求項１または請求項２に記載の車両検出装置。
【請求項４】
前記ランプペア候補抽出手段は、
前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、任意に２つの前記ランプ候補を選択し、
一方の前記ランプ候補の画素数の、他方の前記ランプ候補の画素数に対する比が所定範囲内であるか、前記一方のランプ候補の前記画像における縦方向の画素数の、前記他方のランプ候補の前記画像における縦方向の画素数に対する差が所定範囲内であるか、前記一方のランプ候補の実空間上での距離および高さがそれぞれ前記他方のランプ候補の実空間上の位置から所定の範囲内にあるか、または、前記一方のランプ候補と前記他方のランプ候補の実空間上での左右方向の間隔が車両１台分に相当する幅以内である場合に、当該２つのランプ候補の組み合わせを前記ランプペア候補として抽出し、
上記の抽出処理を、前記ランプ候補抽出手段により抽出された前記ランプ候補同士における全ての組み合わせについて行うことを特徴とする請求項３に記載の車両検出装置。
【請求項５】
前記ランプペア候補抽出手段は、抽出した前記ランプペア候補としての左右の前記ランプ候補の間に存在し、かつ、前記左右のランプ候補の前記画像中の上側の位置に別の前記ランプ候補が存在する場合には、当該別のランプ候補をハイマウントストップランプとして当該ランプペア候補に追加することを特徴とする請求項３または請求項４に記載の車両検出装置。
【請求項６】
前記ランプペア候補抽出手段は、ハイマウントストップランプとして追加した前記ランプ候補が、当該ランプ候補が追加された前記ランプペア候補とは別の前記ランプペア候補に属している場合には、前記追加したランプ候補を、追加された前記ランプペア候補から除外するとともに、追加を除外された前記ランプ候補が属する当該別のランプペア候補については前記ランプペア候補としての指定を解除することを特徴とする請求項５に記載の車両検出装置。
【請求項７】
前記ランプ候補抽出手段は、前記統合処理手段が統合した前記各画素領域の中から、路面からの高さが所定範囲内にある前記画素領域を前記ランプ候補として抽出することを特徴とする請求項１から請求項６のいずれか一項に記載の車両検出装置。
【請求項８】
さらに、前記位置検出手段により検出された前記各位置データを、前記撮像手段により撮像された前記画像の対応する各画素に割り当てて距離画像を作成する距離画像作成手段を備え、
前記グルーピング手段は、
前記距離画像作成手段により作成された前記距離画像を複数の区分に分割し、
前記区分ごとにヒストグラムを作成し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在する場合には、前記ランプ候補中の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合には、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
算出した前記各代表距離を含む前記位置データを前記グループ化の対象とすることを特徴とする請求項１から請求項７のいずれか一項に記載の車両検出装置。
【請求項９】
前記グルーピング手段は、前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合に、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出する際に、算出した前記代表距離に対応する前記ヒストグラムの階級の度数が所定値未満である前記区分については、算出した前記代表距離を無効とし、当該区分については前記代表距離がないものとして前記グループ化を行うことを特徴とする請求項８に記載の車両検出装置。
【請求項１】
撮像手段により撮像された画像中の各画素について距離を含む位置データを検出する位置検出手段と、
前記画像上で、所定の輝度以上の輝度を有する画素を抽出し、抽出した前記画素が前記画像上で隣接する場合には前記画素同士を同一の画素領域として統合する統合処理手段と、
前記統合処理手段が統合した前記各画素領域の中から、前記位置検出手段が検出した前記位置データに基づいて、車両のテールランプに対応する可能性がある前記画素領域をランプ候補として抽出するランプ候補抽出手段と、
前記位置検出手段により検出された前記位置データをグループ化し、グループ化して生成した前記各グループについて、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングした後で、全ての前記グループ同士の再グルーピングの可否を判定し、再グルーピング可能と判定した前記グループ同士を再グルーピングするグルーピング手段と、
を備え、
前記グルーピング手段における前記再グルーピング処理では、前記ランプ候補に属する前記位置データを含む前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値が、その後の全ての前記グループ同士の再グルーピングを行う際の前記位置データに関する閾値よりも、再グルーピングし易い閾値とされていることを特徴とする車両検出装置。
【請求項２】
前記グルーピング手段は、前記再グルーピングの結果、生成した前記グループが、前記ランプ候補抽出手段により抽出された前記ランプ候補に属する前記位置データを含むグループである場合には、当該グループを、車両の背面部分に対応するグループとして識別することを特徴とする請求項１に記載の車両検出装置。
【請求項３】
さらに、前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、前記位置検出手段により検出された前記位置データに基づいて、車両の左右のテールランプを含むテールランプに対応する可能性があるランプ候補の組み合わせをランプペア候補として抽出するランプペア候補抽出手段を備え、
前記グルーピング手段は、前記位置データをグループ化して生成した前記グループ中に、前記ランプペア候補抽出手段により抽出された前記ランプペア候補に属する前記位置データが含まれている場合には、前記ランプペア候補を構成する前記各ランプ候補に属する前記位置データと、前記各ランプ候補に属さない前記位置データとを分離して、それぞれ別のグループとして前記再グルーピング処理を行うことを特徴とする請求項１または請求項２に記載の車両検出装置。
【請求項４】
前記ランプペア候補抽出手段は、
前記ランプ候補抽出手段により抽出された前記各ランプ候補の中から、任意に２つの前記ランプ候補を選択し、
一方の前記ランプ候補の画素数の、他方の前記ランプ候補の画素数に対する比が所定範囲内であるか、前記一方のランプ候補の前記画像における縦方向の画素数の、前記他方のランプ候補の前記画像における縦方向の画素数に対する差が所定範囲内であるか、前記一方のランプ候補の実空間上での距離および高さがそれぞれ前記他方のランプ候補の実空間上の位置から所定の範囲内にあるか、または、前記一方のランプ候補と前記他方のランプ候補の実空間上での左右方向の間隔が車両１台分に相当する幅以内である場合に、当該２つのランプ候補の組み合わせを前記ランプペア候補として抽出し、
上記の抽出処理を、前記ランプ候補抽出手段により抽出された前記ランプ候補同士における全ての組み合わせについて行うことを特徴とする請求項３に記載の車両検出装置。
【請求項５】
前記ランプペア候補抽出手段は、抽出した前記ランプペア候補としての左右の前記ランプ候補の間に存在し、かつ、前記左右のランプ候補の前記画像中の上側の位置に別の前記ランプ候補が存在する場合には、当該別のランプ候補をハイマウントストップランプとして当該ランプペア候補に追加することを特徴とする請求項３または請求項４に記載の車両検出装置。
【請求項６】
前記ランプペア候補抽出手段は、ハイマウントストップランプとして追加した前記ランプ候補が、当該ランプ候補が追加された前記ランプペア候補とは別の前記ランプペア候補に属している場合には、前記追加したランプ候補を、追加された前記ランプペア候補から除外するとともに、追加を除外された前記ランプ候補が属する当該別のランプペア候補については前記ランプペア候補としての指定を解除することを特徴とする請求項５に記載の車両検出装置。
【請求項７】
前記ランプ候補抽出手段は、前記統合処理手段が統合した前記各画素領域の中から、路面からの高さが所定範囲内にある前記画素領域を前記ランプ候補として抽出することを特徴とする請求項１から請求項６のいずれか一項に記載の車両検出装置。
【請求項８】
さらに、前記位置検出手段により検出された前記各位置データを、前記撮像手段により撮像された前記画像の対応する各画素に割り当てて距離画像を作成する距離画像作成手段を備え、
前記グルーピング手段は、
前記距離画像作成手段により作成された前記距離画像を複数の区分に分割し、
前記区分ごとにヒストグラムを作成し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在する場合には、前記ランプ候補中の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合には、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出し、
算出した前記各代表距離を含む前記位置データを前記グループ化の対象とすることを特徴とする請求項１から請求項７のいずれか一項に記載の車両検出装置。
【請求項９】
前記グルーピング手段は、前記区分内に前記ランプ候補抽出手段が抽出した前記ランプ候補が存在しない場合に、前記区分内の各画素に割り当てられた前記位置データにおける距離の情報を前記ヒストグラムに投票して当該区分の代表距離を算出する際に、算出した前記代表距離に対応する前記ヒストグラムの階級の度数が所定値未満である前記区分については、算出した前記代表距離を無効とし、当該区分については前記代表距離がないものとして前記グループ化を行うことを特徴とする請求項８に記載の車両検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１２−１６８８３８（Ｐ２０１２−１６８８３８Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３０５４７（Ｐ２０１１−３０５４７）
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]