路面形状認識装置
【課題】路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも実際の路面形状を的確に検出することが可能な路面形状認識装置を提供する。
【解決手段】路面形状認識装置1は、自車両が走行する路面について位置のデータを検出して距離画像Tzを生成する距離画像生成手段6と、距離画像Tzの各水平ラインj上の距離zのデータをヒストグラムHjに投票して水平ラインjごとの代表距離zjを検出し、水平ラインjごとに代表距離zjを仮想平面上にプロットする代表距離検出手段10と、連続性を有しないと評価したプロットを仮想平面上から除外する評価手段11と、除外されずに仮想平面上に残存している全てのプロットに対して近似直線L1、L2を算出する近似直線算出手段12と、近似直線L1、L2の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段13とを備える。
【解決手段】路面形状認識装置1は、自車両が走行する路面について位置のデータを検出して距離画像Tzを生成する距離画像生成手段6と、距離画像Tzの各水平ラインj上の距離zのデータをヒストグラムHjに投票して水平ラインjごとの代表距離zjを検出し、水平ラインjごとに代表距離zjを仮想平面上にプロットする代表距離検出手段10と、連続性を有しないと評価したプロットを仮想平面上から除外する評価手段11と、除外されずに仮想平面上に残存している全てのプロットに対して近似直線L1、L2を算出する近似直線算出手段12と、近似直線L1、L2の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段13とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、路面形状認識装置に係り、特に、距離画像生成手段により得られた位置のデータに基づいて路面形状モデルを生成する路面形状認識装置に関する。
【背景技術】
【0002】
近年、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等の撮像装置やレーザレーダ測距装置を車両に搭載し、撮像手段で撮像した画像の画像解析やレーザレーダ測距装置から発射された電波やレーザビームの反射光解析等により、それらの装置を搭載した車両が走行する路面形状を認識する路面形状認識装置の開発が進められている(例えば特許文献1、2等参照)。
【0003】
特許文献1では、ステレオカメラからなる撮像装置で撮像された一対の画像のうち、一方の画像の各画素の輝度に基づいて画像中から自車両の側方の車線に対応する各画素を検出し、検出した車線に対応する各画素の位置のデータを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の路面形状のモデルを算出する技術が開示されている。なお、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の路面上に標示された連続線や破線をいう。
【0004】
また、特許文献2では、物体までの距離を計測して得られた位置のデータを3次元座標に投影し、それらの分布に基づいて路面を割り出す技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−92970号公報
【特許文献2】特開平10−143659号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された技術では、路面上に車線が標示されている通常の道路では車線を検出し、それに基づいて路面形状を検出することができるが、未舗装道路や山道等の路面上に車線が標示されていない路面ではその形状を検出することができなかった。
【0007】
また、特許文献2に記載された技術では、ステレオカメラ等を用いて検出された位置のデータが正確であることが必要であるが、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では、ミスマッチが生じるケースが必ずしも少なくない。そして、位置のデータにばらつきが生じるため、位置のデータの3次元分布から路面を割り出すことは必ずしも容易ではない。
【0008】
また、特許文献2に記載された技術では、未舗装道路や山道等の路面のようにテクスチャが多い路面ではその有効性が期待できるが、通常の道路のように比較的テクスチャが少ない場合には、路面に対応する位置のデータのデータ点数が少なくなる。そして、他の立体物等が存在すると、路面に対応する少ない位置のデータが立体物に対応する位置のデータと混ざり合ってしまうため、路面形状を安定して検出できない虞れがあった。
【0009】
本発明は、以上のような事情に鑑みてなされたものであり、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能な路面形状認識装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする。
【0011】
第2の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする。
【0012】
第3の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数における所定個数のピーク値が属する階級の階級値を前記ヒストグラムにおける統計値とし、前記所定個数のピーク値が属する階級の階級値をそれぞれ当該水平ラインの代表距離として検出することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の路面形状認識装置において、
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする。
【0014】
第5の発明は、第4の発明の路面形状認識装置において、前記評価手段は、前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする。
【0015】
第6の発明は、第1から第5のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0016】
第7の発明は、第1から第6のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0017】
第8の発明は、第1から第7のいずれかの発明の路面形状認識装置において、
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0018】
第9の発明は、第1から第8のいずれかの発明の路面形状認識装置において、
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、2つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする。
【0019】
第10の発明は、第9の発明の路面形状認識装置において、
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする。
【0020】
第11の発明は、第10の発明の路面形状認識装置において、前記近似直線算出手段は、前記代表距離をz、前記距離画像における前記水平ラインの位置をjと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をza、前記水平ラインの位置をjaと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣz、Σj、Σz2、Σzjからそれぞれza、ja、za2、zajaを減算し、前記他方の群におけるΣz、Σj、Σz2、Σzjにそれぞれza、ja、za2、zajaを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする。
【0021】
第12の発明は、第1から第8のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、2本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする。
【0022】
第13の発明は、第1から第12のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記選択した前記2つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする。
【0023】
第14の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする。
【0024】
第15の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする。
【0025】
第16の発明は、第14または第15の発明の路面形状認識装置において、前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも1つに基づいてそれぞれ評価することを特徴とする。
【発明の効果】
【0026】
第1の発明によれば、距離画像の各水平ライン上の各画素の距離のデータを水平ラインごとのヒストグラムに投票して、その統計値を各水平ラインごとの代表距離として検出し、代表距離を各水平ラインごとに仮想平面上にプロットし、連続性を有しないプロットは除外し、仮想平面上に残存している全てのプロットに対して近似直線を算出して、最も適切な近似直線の組み合わせを選択して路面形状モデルを生成する。そのため、例えば後述する図2に示すような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。
【0027】
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ライン上での出現頻度が正常な値の出現頻度より小さいため、そのようなデータは、距離画像の各水平ライン上の各画素の距離のデータの各ヒストグラムへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離として採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。そのため、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。
【0028】
さらに、車線等が標示されている路面では、例えば後述する図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離のデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。
【0029】
第2の発明によれば、前記発明の効果に加え、ヒストグラムの度数の最頻値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上で最も高い頻度で出現する距離の階級値を当該水平ラインの代表距離として検出し、それに基づいて路面形状モデルを的確に生成することが可能となる。
【0030】
第3の発明によれば、前記発明の効果に加え、ヒストグラムの度数における所定個数のピーク値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上に多数出現する距離の階級値をそれぞれ当該水平ラインの代表距離として検出し、それらに基づいて路面形状モデルを的確に生成することが可能となる。
【0031】
第4の発明によれば、路面形状では、距離画像の下側の水平ラインでは上側の水平ラインより自車両に近い側の代表距離が検出されるはずである。従って、距離画像の下側の水平ラインから順に代表距離検出手段における処理を行うことで、それらを仮想平面上にプロットした場合、後にプロットされたプロットの代表距離が、先にプロットされたプロットの代表距離よりも遠方側にない場合には、当該後のプロットが先のプロットと連続性を有しないと容易かつ的確に評価することが可能となる。
【0032】
そのため、このような場合に当該後のプロットを仮想平面上から除外するように構成することで、路面形状としてふさわしくないプロットを的確に除外して路面形状モデルを生成することが可能となり、前記各発明の効果がより的確に発揮されるとともに、生成された路面形状モデルの信頼性をより向上させることが可能となる。
【0033】
第5の発明によれば、第4の発明においては後のプロットを除外したが、もともと先のプロットが異常な代表距離に基づいてプロットされたものであれば、その後の正常なプロットが次々と除外されてしまい不都合である。そのため、プロットを除外する処理を連続して行った水平ラインが所定の本数に達した場合に当該先のプロットを除外するように構成することで、異常な先のプロットを除外して後の正常なプロットを路面形状モデル生成の対象とすることが可能となり、前記第4の発明の効果をより的確に発揮させることが可能となる。
【0034】
第6の発明によれば、過去のサンプリング周期において生成された路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する距離のデータのみをヒストグラムに投票する対象とすることで、前記各発明の効果が的確に発揮されるとともに、路面形状モデルをサンプリング周期ごとに安定的に生成することが可能となる。
【0035】
第7の発明によれば、前記各発明の効果に加え、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い自車両の進行路を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。
【0036】
第8の発明によれば、前記各発明の効果に加え、装置が車線検出手段を備える場合には、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い車線を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。
【0037】
第9の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線により構成されるが、群の境界を可変させながら2本の近似直線の適切な組み合わせを探索することで、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせで的確かつ高速に生成することが可能となり、路面形状を的確に認識することが可能となる。また、近似直線に基づく統計値に基づいて2つの群の近似直線の組み合わせの中から選択した近似直線の組み合わせを用いて路面形状モデルを生成することで、生成された路面形状モデルの信頼性をより向上させることが可能となり、前記各発明の効果がより的確に発揮される。
【0038】
第10の発明によれば、第9の発明において、最小二乗法により群ごとに各プロットをそれぞれ近似する近似直線を算出し、近似直線に基づく統計値を各群に属する各プロットの近似直線に対する分散または標準偏差の合計値として算出することで、近似直線の組み合わせを的確かつ容易に選択することが可能となり、前記第9の発明の効果をより的確に発揮させることが可能となる。
【0039】
第11の発明によれば、第10の発明において、最小二乗法を用いて近似直線を算出する際に、各群の境界部分の距離データDaを一方の群から他方の群に移し替えるごとに、距離データDaに対応するza等を、一方の群における各総和Σz等から減算し、他方の群における各総和Σz等に加算するだけで近似直線の各式を算出することが可能となるため、近似直線の算出を容易かつ高速に行うことが可能となり、前記第10の発明の効果をより的確に発揮させることが可能となる。
【0040】
第12の発明によれば、近似直線の組み合わせは、評価手段により除外されずに仮想平面上に残存している全てのプロットに対するハフ変換によっても得ることが可能である。そのため、ハフ変換により2本の近似直線を算出して路面形状モデルを生成することで、容易かつ的確に近似直線の組み合わせを選択して路面形状モデルを生成することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。
【0041】
第13の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線と緩和曲線により構成されるが、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせと緩和曲線との組み合わせで的確に生成することが可能となり、路面形状を的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【0042】
第14の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択するように構成することで、より的確で信頼性が高い路面形状モデルを選択して、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【0043】
第15の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、それらの評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成するように構成することで、新たに生成された路面形状モデルにより、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【0044】
第16の発明によれば、前記2つの前記路面形状モデルを、各路面形状モデルを検出する際に用いられたデータの点数やデータが検出された範囲、過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と各路面形状モデルの位置との差、各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差の少なくとも1つに基づいてそれぞれ評価することで、より信頼性が高い路面形状モデルを選択したり、評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【0045】
【図1】第1の実施形態に係る路面形状認識装置の構成を示すブロック図である。
【図2】撮像手段で撮像される基準画像の例を示す図である。
【図3】ステレオマッチングの原理を説明する図である。
【図4】作成された距離画像の例を示す図である。
【図5】処理部における各処理の手順を示すフローチャートである。
【図6】処理部における各処理の手順を示すフローチャートである。
【図7】距離画像中に設定される所定の範囲および水平ラインごとに作成されるヒストグラム等を説明する図である。
【図8】仮想平面(z−j平面)上にプロットされた代表距離の例を説明する図である。
【図9】先にプロットされた代表距離よりも遠方側にないプロットの例を説明する図である。
【図10】異常な先のプロットにより除外される後のプロットの例を説明する図である。
【図11】図10のプロットにおいて後のプロットを除外する処理を連続して行った場合に先のプロットが除外されることを説明する図である。
【図12】(A)仮想平面上に残存している各プロットの例を説明する図であり、(B)(A)において代表距離が2番目に遠いプロットと3番目に遠いプロットの間に設定された境界等を説明する図である。
【図13】境界部分のプロットを移し替えて境界を代表距離が3番目に遠いプロットと4番目に遠いプロットの間に設定した状態を説明する図である。
【図14】選択された近似直線の組み合わせや境界、交点等を表す図である。
【図15】各近似直線を接線とする緩和曲線である円弧を表す図である。
【図16】車線等が撮像された基準画像の例を示す図である。
【図17】図7においてヒストグラムの度数に2個のピーク値が現れた状態を説明する図である。
【図18】第2の実施形態に係る路面形状認識装置の構成を示すブロック図である。
【図19】水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。
【図20】水平ライン上を探索して得られる各画素の輝度を表すグラフである。
【図21】基準画像上に検出された車線候補点を表す図である。
【図22】ハフ変換処理の結果、抽出される直線を表す図である。
【図23】図22の各直線の中から車線にふさわしい直線として選択された直線を表す図である。
【図24】自車両に近い側に確定された直線を表す図である。
【図25】基準画像上に検出された左右の車線を表す図である。
【図26】車線検出手段で生成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルすなわち路面形状モデルを表す。
【発明を実施するための形態】
【0046】
以下、本発明に係る路面形状認識装置の実施の形態について、図面を参照して説明する。
【0047】
[第1の実施の形態]
本発明の第1の実施形態に係る路面形状認識装置1は、図1に示すように、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13等を有する処理部9等を備えて構成されている。
【0048】
なお、距離画像生成手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された前記特許文献1等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0049】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ2aと助手席側のサブカメラ2bとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【0050】
なお、以下では、メインカメラ2aで撮像される図2に示すような一方の画像を基準画像T、サブカメラ2bで撮像される図示しない画像を比較画像Tcという。また、以下では、基準画像Tを対象として近似直線算出手段12等における処理を行う場合について説明するが、比較画像Tcを対象として行ったり、両方の画像T、Tcをそれぞれ処理するように構成することも可能である。
【0051】
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれモノクロの画像データが取得されるようになっているが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【0052】
メインカメラ2a等で基準画像T等を撮像する場合、例えば図2に示すように、基準画像T等の各水平ラインJの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインJを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像T等の各画素の輝度の画像データがそれぞれ変換手段3に順次送信されるようになっている。
【0053】
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aやサブカメラ2bで撮像された基準画像T等の画素ごとの各画像データをそれぞれ例えば256階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部4に出力するようになっている。
【0054】
また、画像補正部4では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像Tcの各画像データを距離画像生成手段6にも順次送信するようになっている。
【0055】
距離画像生成手段6は、イメージプロセッサ7を備えており、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出し、また、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
【0056】
距離画像生成手段6のイメージプロセッサ7では、基準画像Tと比較画像Tcの各画像データに対して順次ステレオマッチングやフィルタリング処理を施して、基準画像Tの画素ごとに視差dpを順次算出するようになっている。
【0057】
イメージプロセッサ7で行われるステレオマッチングでは、図3に示すように、基準画像Tを例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBに分割する。そして、1つの基準画素ブロックPBに対して、比較画像Tc中の当該基準画素ブロックPBと同じJ座標のエピポーララインEPL上の各比較画素ブロックPBcを探索し、各比較画素ブロックPBcについて、
SAD=Σ|p1st−p2st| …(1)
を算出し、SAD値が最小の比較画素ブロックPBcを特定する。
【0058】
なお、(1)式においてp1stは基準画素ブロックPB内の各画素の輝度を表し、p2stは比較画素ブロックPBc内の各画素の輝度を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0059】
そして、ステレオマッチングでは、基準画素ブロックPBの基準画像T上の位置と、当該基準画素ブロックPBについて特定した比較画素ブロックPBcの比較画像Tc上の位置から基準画像Tの画素ごとに視差dpが順次算出されるようになっている。
【0060】
なお、実空間上において上記の一対のカメラ2a、2bの中央真下の路面上の点を原点とし、自車両の車幅方向(すなわち水平方向)をX軸方向、車高方向(すなわち高さ方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の水平位置x、高さyおよび距離zを含む位置のデータ(x,y,z)と、基準画像T上の画素の座標(I,J)および視差dpとは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により1対1に対応付けることができる。
x=CD/2+z×PW×(I−IV) …(2)
y=CH+z×PW×(J−JV) …(3)
z=CD/(PW×(dp−DP)) …(4)
【0061】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の基準画像T上のI座標およびJ座標、DPは消失点視差を表す。
【0062】
また、フィルタリング処理では、イメージプロセッサ7は、基準画像Tの基準画素ブロックと比較画像Tcの画素ブロックとの輝度パターンの類似性の度合いが低い場合には、算出した視差dpを無効と出力するようになっている。
【0063】
そのため、本実施形態では、距離画像生成手段6は、このようにして基準画像Tの各画素に対して算出された視差dpのうち、イメージプロセッサ7が有効として算出した視差dpのみを上記(4)式に従って換算し、算出された実空間上の距離zを基準画像Tの対応する各画素(I,J)に割り当てて、図4に示すように、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
【0064】
なお、前述したように、ステレオマッチングでは、基準画像T上の例えば3×3画素の基準画素ブロックPBに1つの視差dpが割り当てられるため、上記のように、基準画像T上では3×3画素の9画素に同じ視差dpが割り当てられる。
【0065】
また、以下の処理では、基準画像T上の例えば3×3画素の1つの基準画素ブロックPBを、距離画像Tzの1画素と見なすようにして、距離画像Tzを生成することとする。
【0066】
その場合、距離画像Tzの各画素の座標(i,j)と基準画像Tの各画素の座標(I,J)とは異なるものとなるが、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとを、上記(2)〜(4)式と同様の下記(5)〜(7)式に従って1対1に対応付けることができる。
x=CD/2+z×PW×(i−IV) …(5)
y=CH+z×PW×(j−JV) …(6)
z=CD/(PW×(dp−DP)) …(7)
【0067】
この場合、上記のCDやPW、CH、IV、JV、DPの意味合いは上記(2)〜(4)式の場合と同様であるが、距離画像Tz用に各数値が置換されている。そして、上記(5)〜(7)式により、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとが1対1に対応付けられる。
【0068】
また、本実施形態のように、基準画像Tの各画素に実空間上の距離zを割り当てて距離画像Tzを生成する代わりに、基準画像Tの各画素に有効な視差dpを割り当てて距離画像Tzを生成するように構成することも可能である。
【0069】
距離画像生成手段6は、このようにして生成した距離画像Tzを距離データメモリ8に順次格納させるとともに、処理部9に順次送信するようになっている。
【0070】
なお、本実施形態では、上記のように、距離画像生成手段6が、メインカメラ2aとサブカメラ2bで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング等により算出した実空間上の距離zや視差dpに基づいて距離画像Tzを生成するように構成されている場合について説明するが、これに限定されない。
【0071】
すなわち、距離画像生成手段6は、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出することが可能であり、それらの各位置のデータを二次元平面上に表して距離画像Tzを生成することが可能であればよい。例えば前述したレーザレーダ測距装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて自車両が走行する路面についての位置のデータを複数の地点で検出することができるものであればよく、検出の手法は特定の手法に限定されない。
【0072】
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部9は、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13を備え、また、図示しないメモリを備えている。
【0073】
なお、処理部9において先行車両等の物体を検出する物体検出等の他の処理を行うように構成することも可能である。また、処理部9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、車速やヨーレート、舵角等の測定値が随時入力されるようになっている。
【0074】
以下、処理部9における各処理について、図5および図6のフローチャートに従って説明するとともに、本実施形態に係る路面形状認識装置1の作用について説明する。
【0075】
代表距離検出手段10は、本実施形態では、まず、距離画像Tz中に、自車両の挙動すなわち自車両の車速やヨーレート等から自車両が今後進行すると推定される自車両の進行路を算出し、図7に示すように、距離画像Tz上に、算出した進行路を含む所定の範囲Rを設定するようになっている(ステップS1)。なお、この所定の範囲Rの設定は必ずしも行われなくてもよい。
【0076】
そして、代表距離検出手段10は、続いて、距離画像Tzの各水平ラインj上に存在する実空間上の距離zのデータを、水平ラインjごとに作成されたヒストグラムHjに投票するようになっている(ステップS2)。その際、本実施形態では、代表距離検出手段10は、上記の所定範囲R内の水平ラインj上に存在する距離zのデータのみをヒストグラムHjに投票するようになっている。自車両の進行路を含む所定の範囲R以外の実空間上の距離zのデータは路面形状の検出には必ずしも必要がなく、処理の範囲を限定することで処理の高速化を図るためである。
【0077】
また、本実施形態では、代表距離検出手段10は、上記の各水平ラインj上に存在する位置のデータ、すなわち位置のデータ中の距離zを水平ラインjごとに仮想平面上にプロットした場合のプロット(z,j)が、過去のサンプリング周期において生成された後述する路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在するような距離zのデータのみを、それぞれヒストグラムHjに投票するようになっている。過去の路面形状モデル等から推定される路面の位置から遠く離れて存在する位置のデータは、路面形状の検出の対象としてふさわしくないためである。
【0078】
また、上記のように、本実施形態では、基準画像Tの最も下側の水平ラインjから順に画像データが撮像手段2から送信され、距離画像生成手段6により生成された距離画像Tzの実空間上の距離zのデータも最も下側の水平ラインjから順に入力される。そのため、代表距離検出手段10も、距離画像Tzの下側の水平ラインjから順に実空間上の距離zのデータをヒストグラムHjに投票し、下側の水平ラインjでの投票が終了すると、その直ぐ上側の水平ラインj+1の実空間上の距離zのデータをヒストグラムHj+1に投票するようにして、各水平ラインjごとに実空間上の距離zのデータを各ヒストグラムHjにそれぞれ投票する。
【0079】
本実施形態では、代表距離検出手段10は、このようにして、距離画像生成手段6が生成した距離画像Tzに対して処理を行う水平ラインjを上方にシフトさせながら下側の水平ラインjから順に処理を行うようになっている。
【0080】
代表距離検出手段10は、このようにして当該水平ラインjの所定の範囲R内に存在する実空間上の距離zのデータのヒストグラムHjへの投票を完了すると、当該水平ラインjのヒストグラムHjにおける統計値を算出し、その統計値を当該水平ラインjの代表距離zjとして検出するようになっている(ステップS3)。
【0081】
本実施形態では、代表距離検出手段10は、図7に示したように、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjをヒストグラムHjにおける統計値とするようになっており、代表距離検出手段10は、この度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出するようになっている。
【0082】
また、代表距離検出手段10は、図8に示すように、検出した水平ラインjの代表距離zjを水平ラインjごとに仮想平面(以下z−j平面という。)上にプロットするようになっている(ステップS4)。
【0083】
また、上記のように、本実施形態では、代表距離検出手段10は、処理を行う水平ラインjを上方にシフトさせながら、代表距離zjのz−j平面上へのプロット処理を水平ラインjごとに行うようになっている。
【0084】
評価手段11は、代表距離検出手段10が行ったz−j平面上への代表距離zのプロットの連続性を水平ラインjごとに評価するようになっており(ステップS5)、連続性を有しない(ステップS5;NO)と評価したプロットをz−j平面上から除外するようになっている(ステップS6)。前述したように、ステレオマッチング処理ではミスマッチが生じるケースが少なくなく、プロットが路面に対応するような連続性を有しない場合には当該プロットを路面形状の検出の対象としてふさわしくないためである。
【0085】
本実施形態では、評価手段11は、z−j平面上に後からプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも遠方側にない場合には、当該後のプロットを先のプロットとの連続性を有しないと評価して、当該後のプロットをz−j平面上から除外するようになっている。
【0086】
具体的には、図9に示すように、後でプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも近傍側に存在することになったり、先にプロットされた代表距離zjoldと同じ実空間上の距離zjoldに存在するのは路面形状としては異常である。そのため、評価手段11は、このような場合には、当該後のプロット(zjnew,jnew)を先のプロット(zjold,jold)との連続性を有しないと評価して、当該後のプロット(zjnew,jnew)をz−j平面上から除外するようになっている(ステップS6)。
【0087】
一方、図10に示すように、例えば、最初の水平ラインj(j=0)でミスマッチが多数発生する等して代表距離検出手段10で異常な代表距離z0が検出されると、それ以降の水平ラインjで正常な代表距離zjが検出されても、上記の原則に従った場合、それらの正常な代表距離zjを有するプロットが全て除外されてしまい、代表距離z0より遠方側の代表距離zj*を有するプロット(zj*,j*)が出現した時点でようやくz−j平面上へのプロットが再開される状態となる。
【0088】
また、このような状態では、図10を見ても分かるように、例えば、プロット(z0,0)とプロット(zj*,j*)とのZ軸方向に対する傾きと、プロット(zj*,j*)とそれ以降の各プロットとのZ軸方向に対する傾き連続性とが同様の傾きであるとは言い難く、路面形状を表すものとしてのプロットの連続性が確保されているとは言い難い。
【0089】
そこで、本実施形態では、評価手段11は、このような場合、すなわち、連続性を有しないと評価してプロットを除外する処理を連続して行った水平ラインjが例えば4本等に設定される所定の本数に達した場合には(ステップS7;YES)、先のプロットを除外するように構成されている(ステップS8)。
【0090】
そのため、例えば図10に示したような状況になった場合、評価手段11は、図11に示すように、z−j平面上に水平ラインj(j=0)に対応するプロット(z0,0)をプロットした後、連続性を有しないと評価して水平ラインj(j=1)、j(j=2)、j(j=3)、j(j=4)に対応する各プロット(z1,1)、(z2,2)、(z3,3)、(z4,4)を除外する処理を連続して行った場合には、水平ラインj(j=0)に対応するプロット(z0,0)の方が異常なプロットであるとして、z−j平面上からプロット(z0,0)を除外する。そして、評価手段11は、この場合、水平ラインj(j=5)に対応するプロット(z5,5)からz−j平面上へのプロットが再開させるようになっている。
【0091】
近似直線算出手段12は、評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロット(zj,j)に対して近似直線を算出するようになっている。上記のように、評価手段11で除外されたプロット(zj,j)もあるため、以下では、プロットの座標を単に(z,j)で表し、上記の代表距離zjを単に代表距離zと表す。
【0092】
以下、まず、近似直線算出手段12における処理の概要について説明する。
【0093】
本実施形態では、近似直線算出手段12は、評価手段11により除外されずにz−j平面上に残存している全てのプロット(z,j)について、その代表距離zに基づいて、全てのプロットを、自車両に近い側の群G1と遠い側の群G2とに分割するようになっている。そして、2つの群G1、G2の境界部分のプロットを一方の群から他方の群に移し替えるごとに、各群G1、G2に属する各プロットを近似する近似直線L1、L2をそれぞれ群G1、G2ごとに算出するようになっている。
【0094】
また、本実施形態では、近似直線算出手段12は、最小二乗法を用いて、群G1、G2ごとに、各群G1、G2に属する各プロットをそれぞれ近似する近似直線L1、L2を算出するようになっている。
【0095】
なお、各プロット(z,j)を、
j=a×z+b …(8)
の形で表される近似直線で近似する場合、周知のように、最小二乗法では、a、bは、
a=(nΣzj−Σz・Σj)/{nΣz2−(Σz)2}…(9)
b=(Σz2・Σj−Σzj・Σz)/{nΣz2−(Σz)2}…(10)
の形で算出される。なお、上記(9)、(10)式中のnは各群中のプロットの数を表し、総和Σは各群中の全プロットについて行う。
【0096】
本実施形態では、近似直線算出手段12における群G1、G2の分割および近似直線L1、L2の算出は、以下のようにして行われるようになっている。
【0097】
評価手段11により除外されなかった各プロットが、例えば図12(A)に示すようにz−j平面上に残存しているものとする。また、その際、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjは既に全プロットについて算出されているものとする。
【0098】
近似直線算出手段12は、まず、図12(B)に示すように、残存している全てのプロットDのうち、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して、全てのプロットDを、代表距離zが最も近いプロットD1から3番目に遠いプロットDn−2までのn−2個のプロットDからなる自車両(z=0)に近い側の群G1と、代表距離zが2番目に遠いプロットDn−1と最も遠いプロットDnの2つのプロットDからなる自車両(z=0)から遠い側の群G2に分割する。
【0099】
そして、群G1、G2ごとに、各群G1、G2に属する複数のプロットDを近似する近似直線L1、L2をそれぞれ算出する。すなわち、群G1では、プロットD1〜Dn−2のn−2個のプロットDに対して直線近似を行い、群G2では、プロットDn−1、Dnの2つのプロットDに対して直線近似を行って、それぞれ近似直線L1、L2を算出する。
【0100】
その際、群G1に属する各プロットD1〜Dn−2については、既に算出されているΣz、Σj、Σz2、Σzjから群G2のプロットDn−1、Dnのz、j、z2、zjをそれぞれ減算し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L1の式j=a1×z+b1を算出する。
【0101】
また、群G2に属する各プロットDn−1、Dnについては、各プロットDn−1、Dnについてそれぞれ算出したz、j、z2、zjを加算し、すなわちΣz、Σj、Σz2、Σzjを算出し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L2の式j=a2×z+b2を算出する。
【0102】
続いて、境界DL部分のプロットDn−2を群G1から群G2に移し替えて、群G1と群G2とを分割する境界DLの位置を図13に示すように手前側すなわち自車両(z=0)側に1つ分移動させる。すなわち、境界DLを、代表距離zが3番目に遠いプロットDn−2と4番目に遠いプロットDn−3の間に設定する。
【0103】
そして、上記のようにして算出した群G1に属する各プロットD1〜Dn−2についての各総和Σz、Σj、Σz2、Σzjから、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−22、zn−2jn−2をそれぞれ減算して、群G1に属する各プロットD1〜Dn−3についての各総和Σz、Σj、Σz2、Σzjを算出する。
【0104】
また、群G2については、上記のようにして算出した群G2に属する各プロットDn−1、Dnについての各総和Σz、Σj、Σz2、Σzjに、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−22、zn−2jn−2を加算して、群G2に属する各プロットDn−2〜Dnについての各総和Σz、Σj、Σz2、Σzjを算出する。
【0105】
そして、上記と同様にして群G1に属する各プロットD1〜Dn−3について近似直線L1の式j=a1×z+b1を算出し、群G2に属する各プロットDn−2〜Dnについて近似直線L2の式j=a2×z+b2を算出する。
【0106】
本実施形態では、近似直線算出手段12は、このようにして評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDについて、代表距離zに基づいて全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割し、2つの群G1、G2の境界DL部分のプロットDaを一方の群G1から他方の群G2に移し替えるごとに、プロットDa(xa,ja)から算出されるza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjからは減算し、群G2における各総和Σz、Σj、Σz2、Σzjには加算して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出するようになっている。
【0107】
このように構成すれば、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ容易かつ高速に算出することが可能となる。
【0108】
なお、上記の構成例では、群G1と群G2を分割する境界DLの位置を自車両から最も遠い側に設定し、境界DLの位置を自車両に近づく方向に移動させながら近似直線L1、L2の算出処理を行う場合について説明したが、その逆に、境界DLの位置を自車両から最も近い側、すなわち代表距離zが2番目に近いプロットD2と3番目に近いプロットD3の間に設定し、境界DLの位置を自車両から遠ざかる方向に移動させながら近似直線L1、L2の算出処理を行うように構成することも可能である。
【0109】
その場合も、境界部分のプロットDaを群G2から群G1に移し替えるごとに、プロットDaに対応するza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjに加算し、群G2における各総和Σz、Σj、Σz2、Σzjから減算するだけで、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出することが可能となる。
【0110】
そこで、図5のフローチャートに示すように、近似直線算出手段12は、まず、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjを算出するために、z−j平面上に対するプロットが評価手段11により連続性を有すると評価され除外されずにプロットされるごとに(ステップS5;YES)、それまでに算出されているΣz、Σj、Σz2、Σzjに、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ加算していく(ステップS9)。
【0111】
また、z−j平面上に対するプロットが、評価手段11により連続性を有しないと評価されて除外されると(ステップS8)、近似直線算出手段12は、それまでにΣz、Σj、Σz2、Σzjが算出されていれば、それらのΣz、Σj、Σz2、Σzjから、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ減算する(ステップS10)。
【0112】
代表距離検出手段10や評価手段11、近似直線算出手段12は、以上の処理を、距離画像生成手段6から距離画像Tzの各水平ラインjごとの距離zのデータが送信されてくるごとに行い、全ての水平ラインjについて処理を終了していなければ(ステップS11;NO)、次の水平ラインj+1(すなわち本実施形態では水平ラインjの直ぐ上側の水平ラインj+1)に対して上記の処理を繰り返すようになっている。
【0113】
なお、本実施形態では、上記のように、距離画像Tz上に所定の範囲R(図7参照)を設定して(ステップS1)、所定の範囲Rの距離zのデータについて処理を行うため、ステップS11の判断処理における全ての水平ラインjとは所定の範囲Rが存在する水平ラインjを指す。
【0114】
一方、全ての水平ラインjについて処理を終了すると(ステップS11;YES)、近似直線算出手段12は、上記のようにして、z−j平面(仮想平面)上に残存している全てのプロットDのうち、まず、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割して(図6のステップS12)、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出して、群G1、G2を分割する境界DLの位置と群G1、G2ごとの近似直線L1、L2のa1、b1、a2、b2等の情報とを対応付けてメモリに保存するようになっている(ステップS13)。
【0115】
また、路面形状モデル生成手段13は、近似直線算出手段12がプロットDを移し替えて群G1、G2ごとに算出した近似直線L1、L2に基づいてそれぞれ統計値を算出してメモリに保存するようになっている(ステップS14)。
【0116】
本実施形態では、路面形状モデル生成手段13は、近似直線L1、L2に基づく統計値として、各群G1、G2に属する各プロットDの近似直線L1、L2に対する分散σ12、σ22を下記(11)、(12)式に従ってそれぞれ算出するようになっている。
σ12=Σ{(a1×z+b1)−j}2/n1 …(11)
σ22=Σ{(a2×z+b2)−j}2/n2 …(12)
【0117】
なお、n1、n2はそれぞれ群G1、G2に属する各プロットDの数を表す。また、統計値として、分散σ2の代わりに、各群G1、G2に属する各プロットDの標準偏差を群G1、G2ごとに算出するように構成することも可能である。
【0118】
そして、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了していなければ(ステップS15;NO)、境界DL部分のプロットDaを群G1から群G2に移し替えて(ステップS16)、上記のステップS13、S14の処理を繰り返す。
【0119】
また、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了すると(ステップS15;YES)、路面形状モデル生成手段13は、近似直線L1、L2の組み合わせのうち、各近似直線L1、L2の組み合わせごとに算出した統計値に基づいて、例えばσ12、σ22の合計値が最小となる近似直線L1、L2の組み合わせを選択する等して、2つの群G1、G2の近似直線L1、L2の組み合わせの中から1つの組み合わせを選択する(ステップS17)。
【0120】
そして、路面形状モデル生成手段13は、選択した近似直線L1、L2の組み合わせを用いて路面形状モデルをz−j平面(仮想平面)上の形状として生成するようになっている(ステップS18)。
【0121】
例えば、図12(A)に示したようにz−j平面上に行われたプロットDの場合、路面形状モデル生成手段13は、図14に示すような近似直線L1、L2の組み合わせを選択して、z−j平面(仮想平面)上の形状として路面形状モデルを生成する。すなわち、この場合、自車両(z=0)から境界DLまでの範囲では近似直線L1、境界DLよりも遠方の範囲では近似直線L2をモデルとする路面形状モデルが生成される。
【0122】
また、本実施形態では、路面形状モデル生成手段13は、さらに、図14のように選択した2つの群G1、G2の各近似直線L1、L2の交点Cの部分を、各近似直線L1、L2を接線とする緩和曲線で置換して、生成した路面形状モデルL1、L2を補正するようになっている。
【0123】
本実施形態では、緩和曲線として、図15に示すような円弧Raが用いられるようになっている。また、緩和曲線として、二次曲線等を用いるように構成することも可能である。そして、緩和曲線として円弧Raを用いる場合、その曲率半径rを、予め設定された固定値としてもよく、また、近似直線L1、L2の傾きa1、a2の差分等に依存して変化するように構成してもよい。さらに、曲率半径rを種々変化させ、プロットされた各プロットDの円弧Raに対する分散等に基づいて最適な曲率半径rを算出するように構成することも可能である。
【0124】
路面形状モデル生成手段13は、以上のようにして算出した路面形状モデル、すなわち選択した近似直線L1、L2のa1、b1、a2、b2等の情報や境界DLの位置の情報、また、必要に応じて上記の各手段が算出等した結果を、メモリに保存するとともに、外部装置に出力するようになっている。
【0125】
なお、図2に示した例では、自車両の前方に上り坂や平坦な路面が存在する場合について説明したが、自車両の前方に下り坂が存在する場合にも同様にして処理が行われる。そして、そのような場合でも、的確に境界DLが設定され、自車両に近い側の群G1と遠い側の群G2について、それぞれ的確に近似直線L1、L2を選択して路面形状モデルを生成することが可能となる。
【0126】
以上のように、本実施形態に係る路面形状認識装置1によれば、距離画像Tzの各水平ラインj上の各画素の距離zのデータを水平ラインjごとのヒストグラムHjに投票して、その統計値を各水平ラインjごとの代表距離zjとして検出し、水平ラインjごとに代表距離zjをz−j平面(仮想平面)上にプロットし、連続性を有しないプロットは除外し、z−j平面上に残存している全てのプロット(z,j)に対して近似直線L1、L2を算出して、最も適切な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する。
【0127】
そのため、本実施形態に係る路面形状認識装置1では、例えば図2に示したような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。
【0128】
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ラインj上での出現頻度は正常な値の出現頻度より小さいため、そのようなデータは、距離画像Tzの各水平ラインj上の各画素の距離zのデータの各ヒストグラムHjへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離zjとして採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。
【0129】
そのため、本実施形態に係る路面形状認識装置1では、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。
【0130】
さらに、車線等が標示されている路面では、例えば図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。
【0131】
このように、本実施形態に係る路面形状認識装置1によれば、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能となる。
【0132】
なお、本実施形態では、距離画像Tz中に設定する所定の範囲R(図7参照)として、自車両の進行路を含む所定の範囲Rを設定する場合について説明したが、例えば図16に示したように、基準画像T中に車線が撮像されるようなシーンでは、上記のように、図示しない距離画像Tz中の車線等のエッジ部分に比較的多数の距離zのデータが有効に検出される。
【0133】
そのため、例えば後述する第2の実施形態のように、基準画像Tや距離画像Tz上に車線を検出する車線検出手段を設けておき、距離画像Tz中に設定する所定の範囲Rを、車線検出手段が検出した車線に基づき、例えばそれらの車線を含む所定の範囲に設定するように構成することも可能である。
【0134】
また、本実施形態では、図7に示したように、代表距離検出手段10において、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出する場合について説明したが、例えば図17に示すように、ヒストグラムHjの度数Fにおける例えば2個等の所定個数のピーク値がそれぞれ属する階級の各階級値zj1、zj2をヒストグラムHjにおける統計値とし、各階級値zj1、zj2をそれぞれ当該水平ラインjの代表距離zj1、zj2として検出するように構成することも可能である。
【0135】
また、ヒストグラムHjの度数Fの最頻値やピーク値に対して予め閾値を設けておき、最頻値やピーク値が閾値以上の場合にのみ、最頻値やピーク値が属する階級の階級値を当該水平ラインjの代表距離zjとして検出するように構成することも可能である。
【0136】
さらに、本実施形態では、近似直線算出手段12で評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDに対して境界DLを設定し、その境界DLを移動させながら自車両に近い側の群G1と遠い側の群G2についてそれぞれ近似直線L1、L2を算出し、路面形状モデル生成手段13で最適な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する場合について説明した。
【0137】
しかし、路面形状モデルの生成のさせ方は、これに限定されず、例えば、路面形状モデル生成手段13が、プロット(zj,j)が評価手段11により除外されずにz−j平面上にプロットされるごとに、当該プロットの座標(zj,j)を図示しないハフ平面に投票してハフ変換を行い、その結果から適切な2本の直線を選択することで2本の近似直線L1、L2を算出して前述した路面形状モデルを生成するように構成することも可能である。
【0138】
[第2の実施の形態]
自車両が走行する路面の形状は、例えば図16に示したようなカメラ等の撮像手段で撮像した画像T中から車線を検出し、検出した車線に基づいて路面形状モデルを生成するようにして認識することも可能である。本発明の第2の実施形態では、第1の実施形態に係る路面形状認識装置1の機能のほかに、さらに、上記のように画像T中に検出した車線に基づいて路面形状モデルを生成する機能を備えた路面形状認識装置20について説明する。
【0139】
なお、以下では、前述した路面形状モデル生成手段13により生成された路面形状モデルを第1の路面形状モデルといい、後述する車線検出手段14により画像T中に検出した車線に基づいて生成された路面形状モデルを第2の路面形状モデルという。また、第1の実施形態で説明したように、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された路面形状モデルを第1の路面形状モデルという。
【0140】
図18に示すように、第2の実施形態に係る路面形状認識装置20においても、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13が設けられており、これらの構成は第1の実施形態に係る路面形状認識装置1の場合と同様である。
【0141】
本実施形態では、処理部9に、さらに、車線検出手段14と処理手段15とが設けられており、車線検出手段14は、代表距離検出手段10や路面形状モデル生成手段13等とは独立して、それらの処理と同時並行で車線検出等を行うようになっている。
【0142】
車線検出手段14は、本実施形態では、自車両の前方を撮像した基準画像T上に車線を検出するようになっている。なお、以下では、基準画像T上に車線を検出する場合について説明するが、比較画像Tc上に車線を検出するように構成することも可能である。また、車線検出手段14における車線検出処理の構成は、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。
【0143】
車線検出手段14は、撮像手段2から画像データメモリ5等を介して基準画像Tの水平ラインJの画像データが送信されてくると、当該水平ラインJ上を探索して、互いに隣接する画素の輝度pの差Δpが所定の閾値Δpth1以上である画素であって、道路面の位置にある画素を車線候補点cr、clとして検出するようになっている。そして、この車線候補点cr、clの検出処理を、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら行い、検出した車線候補点cr、clをつなぎ合わせて、今回のサンプリング周期で撮像された基準画像T上に車線LR、LLを検出するようになっている。
【0144】
なお、本実施形態では、前述したように、撮像手段2から、撮像した基準画像Tの各画素の輝度pのデータが、1画素幅の水平ラインJごとに、かつ、下方の水平ラインJから順に送信されてくるため、車線検出手段14は上記のように探索する水平ラインJを基準画像Tの上方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成されている。
【0145】
具体的には、車線検出手段14は、本実施形態では、まず、前回のサンプリング周期で検出した右側の車線LRlastと左側の車線LLlastの基準画像T上での位置を、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のサンプリング周期から今回のサンプリング周期までの間の自車両の挙動に基づいて修正して、今回のサンプリング周期における基準画像T上での車線の各位置を推定する。
【0146】
そして、例えば図19に示すように、推定した今回のサンプリング周期での基準画像T上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインJ上で車線候補点cr、clを探索する探索領域Sr、Slとしてそれぞれ自車両の左右に設定するようになっている。
【0147】
そして、図19に示すように、撮像手段2から、撮像した基準画像Tのうち1画素幅の水平ラインJの各画素の輝度pが入力されてくると、本実施形態では、車線検出手段14は、まず、右側の探索領域Srにおける水平ラインJ上を領域Srの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図20に示すように、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された所定の閾値Δpth1以上となり輝度pが大きく変化する画素を車線候補点crとして検出するようになっている。
【0148】
車線検出手段14は、水平ラインJ上における右側の探索領域Srでの探索を終了すると、続いて、同じ水平ラインJ上における左側の探索領域Slでの探索を領域Slの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点clを検出するようになっている。
【0149】
車線検出手段14は、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインJの各画素の輝度pが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら車線候補点cr、clを検出するようになっている。
【0150】
このようにして検出された車線候補点cr、clを基準画像T上にプロットすると、図21に示すように、右側の車線付近の領域Aと左側の車線付近の領域Bにそれぞれ車線候補点cr、clがプロットされる。なお、図21や以下の各図では、右側と左側の車線候補点cr、clがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、非常に多くの車線候補点cr、clが検出される。
【0151】
また、本実施形態では、車線検出手段14は、例えば右側の車線に対応する車線候補点crを検出するごとに、検出した車線候補点crの座標(I,J)を図示しないハフ平面に投票するようになっており、上記のように各水平ラインJでの車線候補点crの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。
【0152】
左側の車線に対応する車線候補点clについても同様にハフ変換処理を行うと、図21に示した結果から、例えば図22に示すように、右側の車線に対応する直線として直線r1、r2が、また、左側の車線に対応する直線として直線l1、l2がそれぞれ抽出される。そこで、車線検出手段14は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図23に示すように、右側および左側の車線にふさわしい直線として直線r1、l1をそれぞれ選択するようになっている。
【0153】
そして、車線検出手段14は、自車両に近い側では、図24に示すように、選択した直線r1、l1の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点cr、clからのI軸方向およびJ軸方向の各変位が所定範囲内にある車線候補点cr、clをそれぞれ追跡しながらつなぎ合わせていくことで、図25に示すように、基準画像T上に車線LR、LLをそれぞれ検出するようになっている。
【0154】
車線検出手段14は、このようにして検出した車線LR、LLの情報、車線LR、LL検出の基となった車線候補点cr、clの各座標等をそれぞれメモリに保存するようになっている。
【0155】
また、車線検出手段14は、このようにして検出した左右の車線LR、LLの情報に基づいて、実空間上における車線の三次元的なモデルを形成して路面形状モデル(すなわち第2の路面形状モデル)を生成するようになっている。
【0156】
本実施形態では、車線検出手段14は、例えば図26(A)、(B)に示すように、検出した車線LL、LRを所定区間ごとに三次元の近似直線で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。なお、図26(A)では車線LR、LLを自車両前方の7つの区間でそれぞれ近似直線で近似し、図26(B)では車線LR、LLを自車両前方の2つの区間に分割してそれぞれ近似直線で近似する場合が示されているが、これに限定されない。
【0157】
本実施形態では、各所定区間ごとの直線式を、下記(13)、(14)式で表され図26(A)に示される仮想平面(すなわちZ−X平面)上の路面モデルである水平形状モデルと、下記(15)、(16)式で表され図26(B)に示される仮想平面(すなわちZ−Y平面)上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。
【0158】
[水平形状モデル]
左車線LL x=aL・z+bL …(13)
右車線LR x=aR・z+bR …(14)
[道路高モデル]
左車線LL y=cL・z+dL …(15)
右車線LR y=cR・z+dR …(16)
【0159】
なお、図26(B)では、右車線LRの場合が代表して示されているが、左車線LLについても同様に道路高モデルが生成されるようになっており、本実施形態では、第2の路面形状モデルは、左右の車線LR、LLの道路高モデルの各距離Zでの平均値として算出されるようになっている。
【0160】
また、図26(B)に示した道路高モデル(第2の路面形状モデル)において自車両前方の2つの区間に分割する境界Z0は、第1の実施形態において示した境界DLと、その実空間上の距離zが必ずしも同じになるように設定される必要はなく、また、境界Z0の位置は固定の位置でもよく、或いはサンプリング周期ごとに位置が可変されるように構成されていてもよい。
【0161】
処理手段15は、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択して、必要に応じて外部装置に出力するようになっている。なお、上記のように第1の路面形状モデルはz−j平面上のモデルであり、第2の路面形状モデルはZ−Y平面上のモデルであるため、評価においては、例えば上記(6)式に従ってjをyに適宜変換し、或いはyをjに適宜変換して評価が行われる。
【0162】
本実施形態では、処理手段15は、下記の各観点を総合的に評価して、第1および第2の路面形状モデルのいずれかを選択するようになっている。
【0163】
(1)各路面形状モデルを検出する際に用いられたデータの点数。
第1の路面形状モデルにおけるデータの点数とは、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)の数である。また、第2の路面形状モデルにおけるデータの点数とは、車線LR、LLの検出に用いられた車線候補点cr、cl、すなわち検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clの数である。
【0164】
なお、プロット(zj,j)は距離画像Tzの各水平ラインj上に最大でも1つ検出されるのに対し、車線候補点cr、clは基準画像Tの各水平ラインJ上に左右に2つずつ検出される可能性があるため、プロット(zj,j)の数や車線候補点cr、clの数を比較できる形に変換して比較される。また、データの点数が多いほど、評価が高くなる。
【0165】
(2)データが検出された範囲。
すなわち、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)や、検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clが、自車両前方のどの距離からどの距離までの間に検出されているかに関する観点である。データが検出された範囲が大きいほど、評価が高くなる。
【0166】
(3)過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と、各路面形状モデルの位置との差。
この場合は、サンプリング周期ごとの位置のずれが小さいほど、路面形状モデルが安定的に生成されているとして評価が高くなる。
【0167】
(4)各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差。
第1の実施形態で説明したように、境界DLで区分される2つの2つの群G1、G2の各近似直線L1、L2に対するデータ(すなわちプロット)の分散σ12、σ22は上記(11)、(12)式で算出されている。また、標準偏差を用いる場合には、標準偏差は各分散σ2の平方根として算出することができる。
【0168】
また、車線検出手段14は、検出した車線LL、LRを近似した上記(15)、(16)式で表される近似直線に対する検出された各データ(すなわち車線候補点cr、cl)の分散σ2または標準偏差を、上記(11)、(12)式と同様の式に従って算出するようになっている。そして、この場合は、分散や標準偏差が小さいほど、評価が高くなる。
【0169】
なお、上記の各観点を全て評価するように構成する必要はなく、それらの観点のうち少なくとも1つに基づいて第1の路面形状モデルと第2の路面形状モデルとがそれぞれ評価される。
【0170】
また、第1の路面形状モデルと第2の路面形状モデルとのいずれかを選択するように構成する代わりに、処理手段15で、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成するように構成することも可能である。
【0171】
この場合、処理手段15は、例えば、上記の各観点から第1および第2の路面形状モデルに対してそれぞれ評価ポイントs1、s2を割り当て、評価ポイントs1、s2にそれぞれ依存して変わる重みをそれぞれ第1および第2の路面形状モデルにつけて平均化して、新たに路面形状モデルを生成するように構成することができる。
【0172】
次に、本実施形態に係る路面形状認識装置20の作用について説明する。
【0173】
例えば、例えば図16に示したような画像Tが撮像されるシーンでは、道路面に標示された車線や矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、路面形状モデル生成手段13においても車線検出手段14においても路面形状モデルがそれぞれ的確に生成できる。
【0174】
そのため、上記のように、処理手段15で、上記の各観点から第1の路面形状モデルと第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択し、或いは、評価に応じてそれらの路面形状モデルを重み付け平均して新たに路面形状モデルを生成することで、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。
【0175】
また、例えば図2に示したような画像Tが撮像されるシーンでは、路面上に車線が標示されていないため、車線検出手段14による第2の路面形状モデルを生成することができず、或いは仮に生成されたとしても、非常に評価が低く信頼性に乏しい路面形状モデルしか得ることができない。
【0176】
しかし、このような場合でも、本実施形態では、上記の第1の実施形態で説明したように、距離画像生成手段6におけるステレオマッチングで各画素ブロックごとに得られた実空間上の距離zの情報が割り当てられた距離画像Tzに基づいて代表距離検出手段10で的確に代表距離zjを算出し、評価手段11や近似直線算出手段12での処理を経て、路面形状モデル生成手段13で的確に第1の路面形状モデルを生成することができる。
【0177】
そのため、処理手段15では、上記の各観点からこの第1の路面形状モデルが的確に選択され、或いは、第2の路面形状モデルに対して第1の路面形状モデルが圧倒的に大きな重み付けをされた状態で重み付け平均が行われるため、この場合も、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。
【0178】
以上のように、本実施形態に係る路面形状認識装置20によれば、上記の第1の実施形態に係る路面形状認識装置1の効果が的確に発揮されるとともに、路面形状モデル生成手段13により生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとのいずれかを選択し、或いは、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成して、路面上に車線LR、LLが標示されている場合は勿論、車線LR、LLが標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となる。
【符号の説明】
【0179】
1、20 路面形状認識装置
2 撮像手段
6 距離画像生成手段
10 代表距離検出手段
11 評価手段
12 近似直線算出手段
13 路面形状モデル生成手段
14 車線検出手段
15 処理手段
C 交点
cr、cl 車線候補点
D、(z,j)、(zj,j) プロット
Da 群の境界部分のプロット
DL 境界
F 度数
G1 自車両に近い側の群
G2 自車両から遠い側の群
Hj ヒストグラム
J 水平ライン
j 水平ライン(水平ラインの位置)
LR、LL 車線
L1、L2 近似直線
p 輝度
R 所定の範囲
Ra 円弧(緩和曲線)
T 基準画像(画像)
Tz 距離画像
x 実空間上の水平位置
y 実空間上の高さ
z 実空間上の距離、代表距離
za 群の境界部分のプロットの実空間上の距離
zj 代表距離
(zjnew,jnew) 後のプロット
(zjold,jold) 先のプロット
Δp 輝度差
Δpth1 所定の閾値
σ12、σ22 分散(統計値)
【技術分野】
【0001】
本発明は、路面形状認識装置に係り、特に、距離画像生成手段により得られた位置のデータに基づいて路面形状モデルを生成する路面形状認識装置に関する。
【背景技術】
【0002】
近年、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等の撮像装置やレーザレーダ測距装置を車両に搭載し、撮像手段で撮像した画像の画像解析やレーザレーダ測距装置から発射された電波やレーザビームの反射光解析等により、それらの装置を搭載した車両が走行する路面形状を認識する路面形状認識装置の開発が進められている(例えば特許文献1、2等参照)。
【0003】
特許文献1では、ステレオカメラからなる撮像装置で撮像された一対の画像のうち、一方の画像の各画素の輝度に基づいて画像中から自車両の側方の車線に対応する各画素を検出し、検出した車線に対応する各画素の位置のデータを、自車両前方に設定した各区間ごとに直線近似して、水平方向および垂直方向の路面形状のモデルを算出する技術が開示されている。なお、車線とは、追い越し禁止線や路側帯と車道とを区画する区画線等の路面上に標示された連続線や破線をいう。
【0004】
また、特許文献2では、物体までの距離を計測して得られた位置のデータを3次元座標に投影し、それらの分布に基づいて路面を割り出す技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−92970号公報
【特許文献2】特開平10−143659号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された技術では、路面上に車線が標示されている通常の道路では車線を検出し、それに基づいて路面形状を検出することができるが、未舗装道路や山道等の路面上に車線が標示されていない路面ではその形状を検出することができなかった。
【0007】
また、特許文献2に記載された技術では、ステレオカメラ等を用いて検出された位置のデータが正確であることが必要であるが、ステレオカメラで撮像された一対の画像に対するステレオマッチング処理では、ミスマッチが生じるケースが必ずしも少なくない。そして、位置のデータにばらつきが生じるため、位置のデータの3次元分布から路面を割り出すことは必ずしも容易ではない。
【0008】
また、特許文献2に記載された技術では、未舗装道路や山道等の路面のようにテクスチャが多い路面ではその有効性が期待できるが、通常の道路のように比較的テクスチャが少ない場合には、路面に対応する位置のデータのデータ点数が少なくなる。そして、他の立体物等が存在すると、路面に対応する少ない位置のデータが立体物に対応する位置のデータと混ざり合ってしまうため、路面形状を安定して検出できない虞れがあった。
【0009】
本発明は、以上のような事情に鑑みてなされたものであり、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能な路面形状認識装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、路面形状認識装置において、
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする。
【0011】
第2の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする。
【0012】
第3の発明は、第1の発明の路面形状認識装置において、前記代表距離検出手段は、前記ヒストグラムの度数における所定個数のピーク値が属する階級の階級値を前記ヒストグラムにおける統計値とし、前記所定個数のピーク値が属する階級の階級値をそれぞれ当該水平ラインの代表距離として検出することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の路面形状認識装置において、
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする。
【0014】
第5の発明は、第4の発明の路面形状認識装置において、前記評価手段は、前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする。
【0015】
第6の発明は、第1から第5のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0016】
第7の発明は、第1から第6のいずれかの発明の路面形状認識装置において、前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0017】
第8の発明は、第1から第7のいずれかの発明の路面形状認識装置において、
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする。
【0018】
第9の発明は、第1から第8のいずれかの発明の路面形状認識装置において、
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、2つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする。
【0019】
第10の発明は、第9の発明の路面形状認識装置において、
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする。
【0020】
第11の発明は、第10の発明の路面形状認識装置において、前記近似直線算出手段は、前記代表距離をz、前記距離画像における前記水平ラインの位置をjと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をza、前記水平ラインの位置をjaと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣz、Σj、Σz2、Σzjからそれぞれza、ja、za2、zajaを減算し、前記他方の群におけるΣz、Σj、Σz2、Σzjにそれぞれza、ja、za2、zajaを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする。
【0021】
第12の発明は、第1から第8のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、2本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする。
【0022】
第13の発明は、第1から第12のいずれかの発明の路面形状認識装置において、前記路面形状モデル生成手段は、前記選択した前記2つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする。
【0023】
第14の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする。
【0024】
第15の発明は、第1から第13のいずれかの発明の路面形状認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする。
【0025】
第16の発明は、第14または第15の発明の路面形状認識装置において、前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも1つに基づいてそれぞれ評価することを特徴とする。
【発明の効果】
【0026】
第1の発明によれば、距離画像の各水平ライン上の各画素の距離のデータを水平ラインごとのヒストグラムに投票して、その統計値を各水平ラインごとの代表距離として検出し、代表距離を各水平ラインごとに仮想平面上にプロットし、連続性を有しないプロットは除外し、仮想平面上に残存している全てのプロットに対して近似直線を算出して、最も適切な近似直線の組み合わせを選択して路面形状モデルを生成する。そのため、例えば後述する図2に示すような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。
【0027】
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ライン上での出現頻度が正常な値の出現頻度より小さいため、そのようなデータは、距離画像の各水平ライン上の各画素の距離のデータの各ヒストグラムへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離として採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。そのため、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。
【0028】
さらに、車線等が標示されている路面では、例えば後述する図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離のデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。
【0029】
第2の発明によれば、前記発明の効果に加え、ヒストグラムの度数の最頻値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上で最も高い頻度で出現する距離の階級値を当該水平ラインの代表距離として検出し、それに基づいて路面形状モデルを的確に生成することが可能となる。
【0030】
第3の発明によれば、前記発明の効果に加え、ヒストグラムの度数における所定個数のピーク値が属する階級の階級値をヒストグラムにおける統計値とすることで、当該水平ライン上に多数出現する距離の階級値をそれぞれ当該水平ラインの代表距離として検出し、それらに基づいて路面形状モデルを的確に生成することが可能となる。
【0031】
第4の発明によれば、路面形状では、距離画像の下側の水平ラインでは上側の水平ラインより自車両に近い側の代表距離が検出されるはずである。従って、距離画像の下側の水平ラインから順に代表距離検出手段における処理を行うことで、それらを仮想平面上にプロットした場合、後にプロットされたプロットの代表距離が、先にプロットされたプロットの代表距離よりも遠方側にない場合には、当該後のプロットが先のプロットと連続性を有しないと容易かつ的確に評価することが可能となる。
【0032】
そのため、このような場合に当該後のプロットを仮想平面上から除外するように構成することで、路面形状としてふさわしくないプロットを的確に除外して路面形状モデルを生成することが可能となり、前記各発明の効果がより的確に発揮されるとともに、生成された路面形状モデルの信頼性をより向上させることが可能となる。
【0033】
第5の発明によれば、第4の発明においては後のプロットを除外したが、もともと先のプロットが異常な代表距離に基づいてプロットされたものであれば、その後の正常なプロットが次々と除外されてしまい不都合である。そのため、プロットを除外する処理を連続して行った水平ラインが所定の本数に達した場合に当該先のプロットを除外するように構成することで、異常な先のプロットを除外して後の正常なプロットを路面形状モデル生成の対象とすることが可能となり、前記第4の発明の効果をより的確に発揮させることが可能となる。
【0034】
第6の発明によれば、過去のサンプリング周期において生成された路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する距離のデータのみをヒストグラムに投票する対象とすることで、前記各発明の効果が的確に発揮されるとともに、路面形状モデルをサンプリング周期ごとに安定的に生成することが可能となる。
【0035】
第7の発明によれば、前記各発明の効果に加え、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い自車両の進行路を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。
【0036】
第8の発明によれば、前記各発明の効果に加え、装置が車線検出手段を備える場合には、各水平ライン上に存在する位置のデータの探索範囲を、路面が存在する可能性が高い車線を含む所定の範囲に限定することで、処理の高速化を図ることが可能となるとともに、進行路外の立体物等の影響を受けずに路面形状モデルを生成することが可能となり、路面形状モデルを安定的に生成することが可能となる。
【0037】
第9の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線により構成されるが、群の境界を可変させながら2本の近似直線の適切な組み合わせを探索することで、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせで的確かつ高速に生成することが可能となり、路面形状を的確に認識することが可能となる。また、近似直線に基づく統計値に基づいて2つの群の近似直線の組み合わせの中から選択した近似直線の組み合わせを用いて路面形状モデルを生成することで、生成された路面形状モデルの信頼性をより向上させることが可能となり、前記各発明の効果がより的確に発揮される。
【0038】
第10の発明によれば、第9の発明において、最小二乗法により群ごとに各プロットをそれぞれ近似する近似直線を算出し、近似直線に基づく統計値を各群に属する各プロットの近似直線に対する分散または標準偏差の合計値として算出することで、近似直線の組み合わせを的確かつ容易に選択することが可能となり、前記第9の発明の効果をより的確に発揮させることが可能となる。
【0039】
第11の発明によれば、第10の発明において、最小二乗法を用いて近似直線を算出する際に、各群の境界部分の距離データDaを一方の群から他方の群に移し替えるごとに、距離データDaに対応するza等を、一方の群における各総和Σz等から減算し、他方の群における各総和Σz等に加算するだけで近似直線の各式を算出することが可能となるため、近似直線の算出を容易かつ高速に行うことが可能となり、前記第10の発明の効果をより的確に発揮させることが可能となる。
【0040】
第12の発明によれば、近似直線の組み合わせは、評価手段により除外されずに仮想平面上に残存している全てのプロットに対するハフ変換によっても得ることが可能である。そのため、ハフ変換により2本の近似直線を算出して路面形状モデルを生成することで、容易かつ的確に近似直線の組み合わせを選択して路面形状モデルを生成することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。
【0041】
第13の発明によれば、実際の道路設計においては、道路の仮想平面上の形状は2本の直線と緩和曲線により構成されるが、その実際の道路設計に即して、路面形状モデルを2本の近似直線の組み合わせと緩和曲線との組み合わせで的確に生成することが可能となり、路面形状を的確に認識することが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【0042】
第14の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択するように構成することで、より的確で信頼性が高い路面形状モデルを選択して、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【0043】
第15の発明によれば、上記の路面形状モデル生成手段とは別に、車線検出手段で、撮像された画像上に検出した車線の情報に基づいて路面形状モデルを生成し、処理手段で、路面形状モデル生成手段が生成した路面形状モデルと、車線検出手段が生成した路面形状モデルとをそれぞれ評価して、それらの評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成するように構成することで、新たに生成された路面形状モデルにより、路面上に車線が標示されている場合は勿論、車線が標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【0044】
第16の発明によれば、前記2つの前記路面形状モデルを、各路面形状モデルを検出する際に用いられたデータの点数やデータが検出された範囲、過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と各路面形状モデルの位置との差、各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差の少なくとも1つに基づいてそれぞれ評価することで、より信頼性が高い路面形状モデルを選択したり、評価に応じて両方の路面形状モデルを重み付け平均して新たに路面形状モデルを生成することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【0045】
【図1】第1の実施形態に係る路面形状認識装置の構成を示すブロック図である。
【図2】撮像手段で撮像される基準画像の例を示す図である。
【図3】ステレオマッチングの原理を説明する図である。
【図4】作成された距離画像の例を示す図である。
【図5】処理部における各処理の手順を示すフローチャートである。
【図6】処理部における各処理の手順を示すフローチャートである。
【図7】距離画像中に設定される所定の範囲および水平ラインごとに作成されるヒストグラム等を説明する図である。
【図8】仮想平面(z−j平面)上にプロットされた代表距離の例を説明する図である。
【図9】先にプロットされた代表距離よりも遠方側にないプロットの例を説明する図である。
【図10】異常な先のプロットにより除外される後のプロットの例を説明する図である。
【図11】図10のプロットにおいて後のプロットを除外する処理を連続して行った場合に先のプロットが除外されることを説明する図である。
【図12】(A)仮想平面上に残存している各プロットの例を説明する図であり、(B)(A)において代表距離が2番目に遠いプロットと3番目に遠いプロットの間に設定された境界等を説明する図である。
【図13】境界部分のプロットを移し替えて境界を代表距離が3番目に遠いプロットと4番目に遠いプロットの間に設定した状態を説明する図である。
【図14】選択された近似直線の組み合わせや境界、交点等を表す図である。
【図15】各近似直線を接線とする緩和曲線である円弧を表す図である。
【図16】車線等が撮像された基準画像の例を示す図である。
【図17】図7においてヒストグラムの度数に2個のピーク値が現れた状態を説明する図である。
【図18】第2の実施形態に係る路面形状認識装置の構成を示すブロック図である。
【図19】水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。
【図20】水平ライン上を探索して得られる各画素の輝度を表すグラフである。
【図21】基準画像上に検出された車線候補点を表す図である。
【図22】ハフ変換処理の結果、抽出される直線を表す図である。
【図23】図22の各直線の中から車線にふさわしい直線として選択された直線を表す図である。
【図24】自車両に近い側に確定された直線を表す図である。
【図25】基準画像上に検出された左右の車線を表す図である。
【図26】車線検出手段で生成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルすなわち路面形状モデルを表す。
【発明を実施するための形態】
【0046】
以下、本発明に係る路面形状認識装置の実施の形態について、図面を参照して説明する。
【0047】
[第1の実施の形態]
本発明の第1の実施形態に係る路面形状認識装置1は、図1に示すように、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13等を有する処理部9等を備えて構成されている。
【0048】
なお、距離画像生成手段6等を含む処理部9の上流側の構成については、本願出願人により先に提出された前記特許文献1等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0049】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ2aと助手席側のサブカメラ2bとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。
【0050】
なお、以下では、メインカメラ2aで撮像される図2に示すような一方の画像を基準画像T、サブカメラ2bで撮像される図示しない画像を比較画像Tcという。また、以下では、基準画像Tを対象として近似直線算出手段12等における処理を行う場合について説明するが、比較画像Tcを対象として行ったり、両方の画像T、Tcをそれぞれ処理するように構成することも可能である。
【0051】
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれモノクロの画像データが取得されるようになっているが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
【0052】
メインカメラ2a等で基準画像T等を撮像する場合、例えば図2に示すように、基準画像T等の各水平ラインJの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインJを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像T等の各画素の輝度の画像データがそれぞれ変換手段3に順次送信されるようになっている。
【0053】
変換手段3は、一対のA/Dコンバータ3a、3bで構成されており、撮像手段2のメインカメラ2aやサブカメラ2bで撮像された基準画像T等の画素ごとの各画像データをそれぞれ例えば256階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部4に出力するようになっている。
【0054】
また、画像補正部4では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ5に順次格納するとともに、処理部9に順次送信するようになっている。また、画像補正部4は、画像補正した基準画像Tと比較画像Tcの各画像データを距離画像生成手段6にも順次送信するようになっている。
【0055】
距離画像生成手段6は、イメージプロセッサ7を備えており、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出し、また、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
【0056】
距離画像生成手段6のイメージプロセッサ7では、基準画像Tと比較画像Tcの各画像データに対して順次ステレオマッチングやフィルタリング処理を施して、基準画像Tの画素ごとに視差dpを順次算出するようになっている。
【0057】
イメージプロセッサ7で行われるステレオマッチングでは、図3に示すように、基準画像Tを例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBに分割する。そして、1つの基準画素ブロックPBに対して、比較画像Tc中の当該基準画素ブロックPBと同じJ座標のエピポーララインEPL上の各比較画素ブロックPBcを探索し、各比較画素ブロックPBcについて、
SAD=Σ|p1st−p2st| …(1)
を算出し、SAD値が最小の比較画素ブロックPBcを特定する。
【0058】
なお、(1)式においてp1stは基準画素ブロックPB内の各画素の輝度を表し、p2stは比較画素ブロックPBc内の各画素の輝度を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0059】
そして、ステレオマッチングでは、基準画素ブロックPBの基準画像T上の位置と、当該基準画素ブロックPBについて特定した比較画素ブロックPBcの比較画像Tc上の位置から基準画像Tの画素ごとに視差dpが順次算出されるようになっている。
【0060】
なお、実空間上において上記の一対のカメラ2a、2bの中央真下の路面上の点を原点とし、自車両の車幅方向(すなわち水平方向)をX軸方向、車高方向(すなわち高さ方向)をY軸方向、車長方向(すなわち距離方向)をZ軸方向とした場合、実空間上の水平位置x、高さyおよび距離zを含む位置のデータ(x,y,z)と、基準画像T上の画素の座標(I,J)および視差dpとは、下記(2)〜(4)式で表される三角測量の原理に基づく座標変換により1対1に対応付けることができる。
x=CD/2+z×PW×(I−IV) …(2)
y=CH+z×PW×(J−JV) …(3)
z=CD/(PW×(dp−DP)) …(4)
【0061】
上記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の基準画像T上のI座標およびJ座標、DPは消失点視差を表す。
【0062】
また、フィルタリング処理では、イメージプロセッサ7は、基準画像Tの基準画素ブロックと比較画像Tcの画素ブロックとの輝度パターンの類似性の度合いが低い場合には、算出した視差dpを無効と出力するようになっている。
【0063】
そのため、本実施形態では、距離画像生成手段6は、このようにして基準画像Tの各画素に対して算出された視差dpのうち、イメージプロセッサ7が有効として算出した視差dpのみを上記(4)式に従って換算し、算出された実空間上の距離zを基準画像Tの対応する各画素(I,J)に割り当てて、図4に示すように、各位置のデータを二次元平面上に表した距離画像Tzを生成するようになっている。
【0064】
なお、前述したように、ステレオマッチングでは、基準画像T上の例えば3×3画素の基準画素ブロックPBに1つの視差dpが割り当てられるため、上記のように、基準画像T上では3×3画素の9画素に同じ視差dpが割り当てられる。
【0065】
また、以下の処理では、基準画像T上の例えば3×3画素の1つの基準画素ブロックPBを、距離画像Tzの1画素と見なすようにして、距離画像Tzを生成することとする。
【0066】
その場合、距離画像Tzの各画素の座標(i,j)と基準画像Tの各画素の座標(I,J)とは異なるものとなるが、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとを、上記(2)〜(4)式と同様の下記(5)〜(7)式に従って1対1に対応付けることができる。
x=CD/2+z×PW×(i−IV) …(5)
y=CH+z×PW×(j−JV) …(6)
z=CD/(PW×(dp−DP)) …(7)
【0067】
この場合、上記のCDやPW、CH、IV、JV、DPの意味合いは上記(2)〜(4)式の場合と同様であるが、距離画像Tz用に各数値が置換されている。そして、上記(5)〜(7)式により、距離画像Tzの各画素の座標(i,j)および視差dpと、実空間上の水平位置x、高さyおよび距離zとが1対1に対応付けられる。
【0068】
また、本実施形態のように、基準画像Tの各画素に実空間上の距離zを割り当てて距離画像Tzを生成する代わりに、基準画像Tの各画素に有効な視差dpを割り当てて距離画像Tzを生成するように構成することも可能である。
【0069】
距離画像生成手段6は、このようにして生成した距離画像Tzを距離データメモリ8に順次格納させるとともに、処理部9に順次送信するようになっている。
【0070】
なお、本実施形態では、上記のように、距離画像生成手段6が、メインカメラ2aとサブカメラ2bで撮像された基準画像Tおよび比較画像Tcに対するステレオマッチング等により算出した実空間上の距離zや視差dpに基づいて距離画像Tzを生成するように構成されている場合について説明するが、これに限定されない。
【0071】
すなわち、距離画像生成手段6は、自車両が走行する路面について実空間上の水平位置x、高さyおよび距離zを含む位置のデータを互いに異なる複数の地点で検出することが可能であり、それらの各位置のデータを二次元平面上に表して距離画像Tzを生成することが可能であればよい。例えば前述したレーザレーダ測距装置のように、自車両前方にレーザビームを照射してその反射光の情報に基づいて自車両が走行する路面についての位置のデータを複数の地点で検出することができるものであればよく、検出の手法は特定の手法に限定されない。
【0072】
処理部9は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部9は、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13を備え、また、図示しないメモリを備えている。
【0073】
なお、処理部9において先行車両等の物体を検出する物体検出等の他の処理を行うように構成することも可能である。また、処理部9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、車速やヨーレート、舵角等の測定値が随時入力されるようになっている。
【0074】
以下、処理部9における各処理について、図5および図6のフローチャートに従って説明するとともに、本実施形態に係る路面形状認識装置1の作用について説明する。
【0075】
代表距離検出手段10は、本実施形態では、まず、距離画像Tz中に、自車両の挙動すなわち自車両の車速やヨーレート等から自車両が今後進行すると推定される自車両の進行路を算出し、図7に示すように、距離画像Tz上に、算出した進行路を含む所定の範囲Rを設定するようになっている(ステップS1)。なお、この所定の範囲Rの設定は必ずしも行われなくてもよい。
【0076】
そして、代表距離検出手段10は、続いて、距離画像Tzの各水平ラインj上に存在する実空間上の距離zのデータを、水平ラインjごとに作成されたヒストグラムHjに投票するようになっている(ステップS2)。その際、本実施形態では、代表距離検出手段10は、上記の所定範囲R内の水平ラインj上に存在する距離zのデータのみをヒストグラムHjに投票するようになっている。自車両の進行路を含む所定の範囲R以外の実空間上の距離zのデータは路面形状の検出には必ずしも必要がなく、処理の範囲を限定することで処理の高速化を図るためである。
【0077】
また、本実施形態では、代表距離検出手段10は、上記の各水平ラインj上に存在する位置のデータ、すなわち位置のデータ中の距離zを水平ラインjごとに仮想平面上にプロットした場合のプロット(z,j)が、過去のサンプリング周期において生成された後述する路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在するような距離zのデータのみを、それぞれヒストグラムHjに投票するようになっている。過去の路面形状モデル等から推定される路面の位置から遠く離れて存在する位置のデータは、路面形状の検出の対象としてふさわしくないためである。
【0078】
また、上記のように、本実施形態では、基準画像Tの最も下側の水平ラインjから順に画像データが撮像手段2から送信され、距離画像生成手段6により生成された距離画像Tzの実空間上の距離zのデータも最も下側の水平ラインjから順に入力される。そのため、代表距離検出手段10も、距離画像Tzの下側の水平ラインjから順に実空間上の距離zのデータをヒストグラムHjに投票し、下側の水平ラインjでの投票が終了すると、その直ぐ上側の水平ラインj+1の実空間上の距離zのデータをヒストグラムHj+1に投票するようにして、各水平ラインjごとに実空間上の距離zのデータを各ヒストグラムHjにそれぞれ投票する。
【0079】
本実施形態では、代表距離検出手段10は、このようにして、距離画像生成手段6が生成した距離画像Tzに対して処理を行う水平ラインjを上方にシフトさせながら下側の水平ラインjから順に処理を行うようになっている。
【0080】
代表距離検出手段10は、このようにして当該水平ラインjの所定の範囲R内に存在する実空間上の距離zのデータのヒストグラムHjへの投票を完了すると、当該水平ラインjのヒストグラムHjにおける統計値を算出し、その統計値を当該水平ラインjの代表距離zjとして検出するようになっている(ステップS3)。
【0081】
本実施形態では、代表距離検出手段10は、図7に示したように、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjをヒストグラムHjにおける統計値とするようになっており、代表距離検出手段10は、この度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出するようになっている。
【0082】
また、代表距離検出手段10は、図8に示すように、検出した水平ラインjの代表距離zjを水平ラインjごとに仮想平面(以下z−j平面という。)上にプロットするようになっている(ステップS4)。
【0083】
また、上記のように、本実施形態では、代表距離検出手段10は、処理を行う水平ラインjを上方にシフトさせながら、代表距離zjのz−j平面上へのプロット処理を水平ラインjごとに行うようになっている。
【0084】
評価手段11は、代表距離検出手段10が行ったz−j平面上への代表距離zのプロットの連続性を水平ラインjごとに評価するようになっており(ステップS5)、連続性を有しない(ステップS5;NO)と評価したプロットをz−j平面上から除外するようになっている(ステップS6)。前述したように、ステレオマッチング処理ではミスマッチが生じるケースが少なくなく、プロットが路面に対応するような連続性を有しない場合には当該プロットを路面形状の検出の対象としてふさわしくないためである。
【0085】
本実施形態では、評価手段11は、z−j平面上に後からプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも遠方側にない場合には、当該後のプロットを先のプロットとの連続性を有しないと評価して、当該後のプロットをz−j平面上から除外するようになっている。
【0086】
具体的には、図9に示すように、後でプロットされた代表距離zjnewが、先にプロットされた代表距離zjoldよりも近傍側に存在することになったり、先にプロットされた代表距離zjoldと同じ実空間上の距離zjoldに存在するのは路面形状としては異常である。そのため、評価手段11は、このような場合には、当該後のプロット(zjnew,jnew)を先のプロット(zjold,jold)との連続性を有しないと評価して、当該後のプロット(zjnew,jnew)をz−j平面上から除外するようになっている(ステップS6)。
【0087】
一方、図10に示すように、例えば、最初の水平ラインj(j=0)でミスマッチが多数発生する等して代表距離検出手段10で異常な代表距離z0が検出されると、それ以降の水平ラインjで正常な代表距離zjが検出されても、上記の原則に従った場合、それらの正常な代表距離zjを有するプロットが全て除外されてしまい、代表距離z0より遠方側の代表距離zj*を有するプロット(zj*,j*)が出現した時点でようやくz−j平面上へのプロットが再開される状態となる。
【0088】
また、このような状態では、図10を見ても分かるように、例えば、プロット(z0,0)とプロット(zj*,j*)とのZ軸方向に対する傾きと、プロット(zj*,j*)とそれ以降の各プロットとのZ軸方向に対する傾き連続性とが同様の傾きであるとは言い難く、路面形状を表すものとしてのプロットの連続性が確保されているとは言い難い。
【0089】
そこで、本実施形態では、評価手段11は、このような場合、すなわち、連続性を有しないと評価してプロットを除外する処理を連続して行った水平ラインjが例えば4本等に設定される所定の本数に達した場合には(ステップS7;YES)、先のプロットを除外するように構成されている(ステップS8)。
【0090】
そのため、例えば図10に示したような状況になった場合、評価手段11は、図11に示すように、z−j平面上に水平ラインj(j=0)に対応するプロット(z0,0)をプロットした後、連続性を有しないと評価して水平ラインj(j=1)、j(j=2)、j(j=3)、j(j=4)に対応する各プロット(z1,1)、(z2,2)、(z3,3)、(z4,4)を除外する処理を連続して行った場合には、水平ラインj(j=0)に対応するプロット(z0,0)の方が異常なプロットであるとして、z−j平面上からプロット(z0,0)を除外する。そして、評価手段11は、この場合、水平ラインj(j=5)に対応するプロット(z5,5)からz−j平面上へのプロットが再開させるようになっている。
【0091】
近似直線算出手段12は、評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロット(zj,j)に対して近似直線を算出するようになっている。上記のように、評価手段11で除外されたプロット(zj,j)もあるため、以下では、プロットの座標を単に(z,j)で表し、上記の代表距離zjを単に代表距離zと表す。
【0092】
以下、まず、近似直線算出手段12における処理の概要について説明する。
【0093】
本実施形態では、近似直線算出手段12は、評価手段11により除外されずにz−j平面上に残存している全てのプロット(z,j)について、その代表距離zに基づいて、全てのプロットを、自車両に近い側の群G1と遠い側の群G2とに分割するようになっている。そして、2つの群G1、G2の境界部分のプロットを一方の群から他方の群に移し替えるごとに、各群G1、G2に属する各プロットを近似する近似直線L1、L2をそれぞれ群G1、G2ごとに算出するようになっている。
【0094】
また、本実施形態では、近似直線算出手段12は、最小二乗法を用いて、群G1、G2ごとに、各群G1、G2に属する各プロットをそれぞれ近似する近似直線L1、L2を算出するようになっている。
【0095】
なお、各プロット(z,j)を、
j=a×z+b …(8)
の形で表される近似直線で近似する場合、周知のように、最小二乗法では、a、bは、
a=(nΣzj−Σz・Σj)/{nΣz2−(Σz)2}…(9)
b=(Σz2・Σj−Σzj・Σz)/{nΣz2−(Σz)2}…(10)
の形で算出される。なお、上記(9)、(10)式中のnは各群中のプロットの数を表し、総和Σは各群中の全プロットについて行う。
【0096】
本実施形態では、近似直線算出手段12における群G1、G2の分割および近似直線L1、L2の算出は、以下のようにして行われるようになっている。
【0097】
評価手段11により除外されなかった各プロットが、例えば図12(A)に示すようにz−j平面上に残存しているものとする。また、その際、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjは既に全プロットについて算出されているものとする。
【0098】
近似直線算出手段12は、まず、図12(B)に示すように、残存している全てのプロットDのうち、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して、全てのプロットDを、代表距離zが最も近いプロットD1から3番目に遠いプロットDn−2までのn−2個のプロットDからなる自車両(z=0)に近い側の群G1と、代表距離zが2番目に遠いプロットDn−1と最も遠いプロットDnの2つのプロットDからなる自車両(z=0)から遠い側の群G2に分割する。
【0099】
そして、群G1、G2ごとに、各群G1、G2に属する複数のプロットDを近似する近似直線L1、L2をそれぞれ算出する。すなわち、群G1では、プロットD1〜Dn−2のn−2個のプロットDに対して直線近似を行い、群G2では、プロットDn−1、Dnの2つのプロットDに対して直線近似を行って、それぞれ近似直線L1、L2を算出する。
【0100】
その際、群G1に属する各プロットD1〜Dn−2については、既に算出されているΣz、Σj、Σz2、Σzjから群G2のプロットDn−1、Dnのz、j、z2、zjをそれぞれ減算し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L1の式j=a1×z+b1を算出する。
【0101】
また、群G2に属する各プロットDn−1、Dnについては、各プロットDn−1、Dnについてそれぞれ算出したz、j、z2、zjを加算し、すなわちΣz、Σj、Σz2、Σzjを算出し、それらの値を上記(9)、(10)式に代入してa、bを算出し、それらを上記(8)式に代入して近似直線L2の式j=a2×z+b2を算出する。
【0102】
続いて、境界DL部分のプロットDn−2を群G1から群G2に移し替えて、群G1と群G2とを分割する境界DLの位置を図13に示すように手前側すなわち自車両(z=0)側に1つ分移動させる。すなわち、境界DLを、代表距離zが3番目に遠いプロットDn−2と4番目に遠いプロットDn−3の間に設定する。
【0103】
そして、上記のようにして算出した群G1に属する各プロットD1〜Dn−2についての各総和Σz、Σj、Σz2、Σzjから、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−22、zn−2jn−2をそれぞれ減算して、群G1に属する各プロットD1〜Dn−3についての各総和Σz、Σj、Σz2、Σzjを算出する。
【0104】
また、群G2については、上記のようにして算出した群G2に属する各プロットDn−1、Dnについての各総和Σz、Σj、Σz2、Σzjに、移し替えられるプロットDn−2に対応するzn−2、jn−2、zn−22、zn−2jn−2を加算して、群G2に属する各プロットDn−2〜Dnについての各総和Σz、Σj、Σz2、Σzjを算出する。
【0105】
そして、上記と同様にして群G1に属する各プロットD1〜Dn−3について近似直線L1の式j=a1×z+b1を算出し、群G2に属する各プロットDn−2〜Dnについて近似直線L2の式j=a2×z+b2を算出する。
【0106】
本実施形態では、近似直線算出手段12は、このようにして評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDについて、代表距離zに基づいて全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割し、2つの群G1、G2の境界DL部分のプロットDaを一方の群G1から他方の群G2に移し替えるごとに、プロットDa(xa,ja)から算出されるza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjからは減算し、群G2における各総和Σz、Σj、Σz2、Σzjには加算して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出するようになっている。
【0107】
このように構成すれば、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出して、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ容易かつ高速に算出することが可能となる。
【0108】
なお、上記の構成例では、群G1と群G2を分割する境界DLの位置を自車両から最も遠い側に設定し、境界DLの位置を自車両に近づく方向に移動させながら近似直線L1、L2の算出処理を行う場合について説明したが、その逆に、境界DLの位置を自車両から最も近い側、すなわち代表距離zが2番目に近いプロットD2と3番目に近いプロットD3の間に設定し、境界DLの位置を自車両から遠ざかる方向に移動させながら近似直線L1、L2の算出処理を行うように構成することも可能である。
【0109】
その場合も、境界部分のプロットDaを群G2から群G1に移し替えるごとに、プロットDaに対応するza、ja、za2、zajaを、群G1における各総和Σz、Σj、Σz2、Σzjに加算し、群G2における各総和Σz、Σj、Σz2、Σzjから減算するだけで、各群G1、G2における各総和Σz、Σj、Σz2、Σzjをそれぞれ容易かつ高速に算出することが可能となる。
【0110】
そこで、図5のフローチャートに示すように、近似直線算出手段12は、まず、上記(9)、(10)式の演算に必要なΣz、Σj、Σz2、Σzjを算出するために、z−j平面上に対するプロットが評価手段11により連続性を有すると評価され除外されずにプロットされるごとに(ステップS5;YES)、それまでに算出されているΣz、Σj、Σz2、Σzjに、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ加算していく(ステップS9)。
【0111】
また、z−j平面上に対するプロットが、評価手段11により連続性を有しないと評価されて除外されると(ステップS8)、近似直線算出手段12は、それまでにΣz、Σj、Σz2、Σzjが算出されていれば、それらのΣz、Σj、Σz2、Σzjから、今回のプロット(z,j)から算出されるz、j、z2、zjをそれぞれ減算する(ステップS10)。
【0112】
代表距離検出手段10や評価手段11、近似直線算出手段12は、以上の処理を、距離画像生成手段6から距離画像Tzの各水平ラインjごとの距離zのデータが送信されてくるごとに行い、全ての水平ラインjについて処理を終了していなければ(ステップS11;NO)、次の水平ラインj+1(すなわち本実施形態では水平ラインjの直ぐ上側の水平ラインj+1)に対して上記の処理を繰り返すようになっている。
【0113】
なお、本実施形態では、上記のように、距離画像Tz上に所定の範囲R(図7参照)を設定して(ステップS1)、所定の範囲Rの距離zのデータについて処理を行うため、ステップS11の判断処理における全ての水平ラインjとは所定の範囲Rが存在する水平ラインjを指す。
【0114】
一方、全ての水平ラインjについて処理を終了すると(ステップS11;YES)、近似直線算出手段12は、上記のようにして、z−j平面(仮想平面)上に残存している全てのプロットDのうち、まず、代表距離zが2番目に遠いプロットDn−1と3番目に遠いプロットDn−2の間に境界DLを設定して全てのプロットDを自車両に近い側の群G1と遠い側の群G2とに分割して(図6のステップS12)、群G1、G2ごとに各プロットを近似する近似直線L1、L2をそれぞれ算出して、群G1、G2を分割する境界DLの位置と群G1、G2ごとの近似直線L1、L2のa1、b1、a2、b2等の情報とを対応付けてメモリに保存するようになっている(ステップS13)。
【0115】
また、路面形状モデル生成手段13は、近似直線算出手段12がプロットDを移し替えて群G1、G2ごとに算出した近似直線L1、L2に基づいてそれぞれ統計値を算出してメモリに保存するようになっている(ステップS14)。
【0116】
本実施形態では、路面形状モデル生成手段13は、近似直線L1、L2に基づく統計値として、各群G1、G2に属する各プロットDの近似直線L1、L2に対する分散σ12、σ22を下記(11)、(12)式に従ってそれぞれ算出するようになっている。
σ12=Σ{(a1×z+b1)−j}2/n1 …(11)
σ22=Σ{(a2×z+b2)−j}2/n2 …(12)
【0117】
なお、n1、n2はそれぞれ群G1、G2に属する各プロットDの数を表す。また、統計値として、分散σ2の代わりに、各群G1、G2に属する各プロットDの標準偏差を群G1、G2ごとに算出するように構成することも可能である。
【0118】
そして、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了していなければ(ステップS15;NO)、境界DL部分のプロットDaを群G1から群G2に移し替えて(ステップS16)、上記のステップS13、S14の処理を繰り返す。
【0119】
また、2つの群G1、G2の境界DL部分のプロットDaの自車両に近い側の群G1から遠い側の群G2への移し替えが全て終了すると(ステップS15;YES)、路面形状モデル生成手段13は、近似直線L1、L2の組み合わせのうち、各近似直線L1、L2の組み合わせごとに算出した統計値に基づいて、例えばσ12、σ22の合計値が最小となる近似直線L1、L2の組み合わせを選択する等して、2つの群G1、G2の近似直線L1、L2の組み合わせの中から1つの組み合わせを選択する(ステップS17)。
【0120】
そして、路面形状モデル生成手段13は、選択した近似直線L1、L2の組み合わせを用いて路面形状モデルをz−j平面(仮想平面)上の形状として生成するようになっている(ステップS18)。
【0121】
例えば、図12(A)に示したようにz−j平面上に行われたプロットDの場合、路面形状モデル生成手段13は、図14に示すような近似直線L1、L2の組み合わせを選択して、z−j平面(仮想平面)上の形状として路面形状モデルを生成する。すなわち、この場合、自車両(z=0)から境界DLまでの範囲では近似直線L1、境界DLよりも遠方の範囲では近似直線L2をモデルとする路面形状モデルが生成される。
【0122】
また、本実施形態では、路面形状モデル生成手段13は、さらに、図14のように選択した2つの群G1、G2の各近似直線L1、L2の交点Cの部分を、各近似直線L1、L2を接線とする緩和曲線で置換して、生成した路面形状モデルL1、L2を補正するようになっている。
【0123】
本実施形態では、緩和曲線として、図15に示すような円弧Raが用いられるようになっている。また、緩和曲線として、二次曲線等を用いるように構成することも可能である。そして、緩和曲線として円弧Raを用いる場合、その曲率半径rを、予め設定された固定値としてもよく、また、近似直線L1、L2の傾きa1、a2の差分等に依存して変化するように構成してもよい。さらに、曲率半径rを種々変化させ、プロットされた各プロットDの円弧Raに対する分散等に基づいて最適な曲率半径rを算出するように構成することも可能である。
【0124】
路面形状モデル生成手段13は、以上のようにして算出した路面形状モデル、すなわち選択した近似直線L1、L2のa1、b1、a2、b2等の情報や境界DLの位置の情報、また、必要に応じて上記の各手段が算出等した結果を、メモリに保存するとともに、外部装置に出力するようになっている。
【0125】
なお、図2に示した例では、自車両の前方に上り坂や平坦な路面が存在する場合について説明したが、自車両の前方に下り坂が存在する場合にも同様にして処理が行われる。そして、そのような場合でも、的確に境界DLが設定され、自車両に近い側の群G1と遠い側の群G2について、それぞれ的確に近似直線L1、L2を選択して路面形状モデルを生成することが可能となる。
【0126】
以上のように、本実施形態に係る路面形状認識装置1によれば、距離画像Tzの各水平ラインj上の各画素の距離zのデータを水平ラインjごとのヒストグラムHjに投票して、その統計値を各水平ラインjごとの代表距離zjとして検出し、水平ラインjごとに代表距離zjをz−j平面(仮想平面)上にプロットし、連続性を有しないプロットは除外し、z−j平面上に残存している全てのプロット(z,j)に対して近似直線L1、L2を算出して、最も適切な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する。
【0127】
そのため、本実施形態に係る路面形状認識装置1では、例えば図2に示したような、未舗装道路や山道等の路面上に車線が標示されていない路面でも、その形状を的確かつ安定的に検出することが可能となる。
【0128】
また、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、そのようなデータの各水平ラインj上での出現頻度は正常な値の出現頻度より小さいため、そのようなデータは、距離画像Tzの各水平ラインj上の各画素の距離zのデータの各ヒストグラムHjへの投票処理において振るい落とされる。また、仮にそのようなデータが代表距離zjとして採用されたとしても、それに対応するプロットが連続性を有しない場合にはプロットが除外される。
【0129】
そのため、本実施形態に係る路面形状認識装置1では、ステレオマッチング処理でミスマッチが生じたり、レーザレーダ測距装置で異常なデータが得られたりした場合でも、その路面形状を的確かつ安定的に検出することが可能となる。
【0130】
さらに、車線等が標示されている路面では、例えば図16に例示する車線や道路面上に標示された矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、それに基づいて路面形状を的確かつ安定的に検出することが可能となる。
【0131】
このように、本実施形態に係る路面形状認識装置1によれば、実際の路面形状を的確に検出することが可能であり、路面上に車線が標示されている場合は勿論、車線が標示されていない場合でも路面形状を的確に検出することが可能となる。
【0132】
なお、本実施形態では、距離画像Tz中に設定する所定の範囲R(図7参照)として、自車両の進行路を含む所定の範囲Rを設定する場合について説明したが、例えば図16に示したように、基準画像T中に車線が撮像されるようなシーンでは、上記のように、図示しない距離画像Tz中の車線等のエッジ部分に比較的多数の距離zのデータが有効に検出される。
【0133】
そのため、例えば後述する第2の実施形態のように、基準画像Tや距離画像Tz上に車線を検出する車線検出手段を設けておき、距離画像Tz中に設定する所定の範囲Rを、車線検出手段が検出した車線に基づき、例えばそれらの車線を含む所定の範囲に設定するように構成することも可能である。
【0134】
また、本実施形態では、図7に示したように、代表距離検出手段10において、ヒストグラムHjの度数Fの最頻値が属する階級の階級値zjを当該水平ラインjの代表距離zjとして検出する場合について説明したが、例えば図17に示すように、ヒストグラムHjの度数Fにおける例えば2個等の所定個数のピーク値がそれぞれ属する階級の各階級値zj1、zj2をヒストグラムHjにおける統計値とし、各階級値zj1、zj2をそれぞれ当該水平ラインjの代表距離zj1、zj2として検出するように構成することも可能である。
【0135】
また、ヒストグラムHjの度数Fの最頻値やピーク値に対して予め閾値を設けておき、最頻値やピーク値が閾値以上の場合にのみ、最頻値やピーク値が属する階級の階級値を当該水平ラインjの代表距離zjとして検出するように構成することも可能である。
【0136】
さらに、本実施形態では、近似直線算出手段12で評価手段11により除外されずにz−j平面(仮想平面)上に残存している全てのプロットDに対して境界DLを設定し、その境界DLを移動させながら自車両に近い側の群G1と遠い側の群G2についてそれぞれ近似直線L1、L2を算出し、路面形状モデル生成手段13で最適な近似直線L1、L2の組み合わせを選択して路面形状モデルを生成する場合について説明した。
【0137】
しかし、路面形状モデルの生成のさせ方は、これに限定されず、例えば、路面形状モデル生成手段13が、プロット(zj,j)が評価手段11により除外されずにz−j平面上にプロットされるごとに、当該プロットの座標(zj,j)を図示しないハフ平面に投票してハフ変換を行い、その結果から適切な2本の直線を選択することで2本の近似直線L1、L2を算出して前述した路面形状モデルを生成するように構成することも可能である。
【0138】
[第2の実施の形態]
自車両が走行する路面の形状は、例えば図16に示したようなカメラ等の撮像手段で撮像した画像T中から車線を検出し、検出した車線に基づいて路面形状モデルを生成するようにして認識することも可能である。本発明の第2の実施形態では、第1の実施形態に係る路面形状認識装置1の機能のほかに、さらに、上記のように画像T中に検出した車線に基づいて路面形状モデルを生成する機能を備えた路面形状認識装置20について説明する。
【0139】
なお、以下では、前述した路面形状モデル生成手段13により生成された路面形状モデルを第1の路面形状モデルといい、後述する車線検出手段14により画像T中に検出した車線に基づいて生成された路面形状モデルを第2の路面形状モデルという。また、第1の実施形態で説明したように、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された路面形状モデルを第1の路面形状モデルという。
【0140】
図18に示すように、第2の実施形態に係る路面形状認識装置20においても、撮像手段2や距離画像生成手段6、代表距離検出手段10や評価手段11、近似直線算出手段12、路面形状モデル生成手段13が設けられており、これらの構成は第1の実施形態に係る路面形状認識装置1の場合と同様である。
【0141】
本実施形態では、処理部9に、さらに、車線検出手段14と処理手段15とが設けられており、車線検出手段14は、代表距離検出手段10や路面形状モデル生成手段13等とは独立して、それらの処理と同時並行で車線検出等を行うようになっている。
【0142】
車線検出手段14は、本実施形態では、自車両の前方を撮像した基準画像T上に車線を検出するようになっている。なお、以下では、基準画像T上に車線を検出する場合について説明するが、比較画像Tc上に車線を検出するように構成することも可能である。また、車線検出手段14における車線検出処理の構成は、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。
【0143】
車線検出手段14は、撮像手段2から画像データメモリ5等を介して基準画像Tの水平ラインJの画像データが送信されてくると、当該水平ラインJ上を探索して、互いに隣接する画素の輝度pの差Δpが所定の閾値Δpth1以上である画素であって、道路面の位置にある画素を車線候補点cr、clとして検出するようになっている。そして、この車線候補点cr、clの検出処理を、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら行い、検出した車線候補点cr、clをつなぎ合わせて、今回のサンプリング周期で撮像された基準画像T上に車線LR、LLを検出するようになっている。
【0144】
なお、本実施形態では、前述したように、撮像手段2から、撮像した基準画像Tの各画素の輝度pのデータが、1画素幅の水平ラインJごとに、かつ、下方の水平ラインJから順に送信されてくるため、車線検出手段14は上記のように探索する水平ラインJを基準画像Tの上方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成されている。
【0145】
具体的には、車線検出手段14は、本実施形態では、まず、前回のサンプリング周期で検出した右側の車線LRlastと左側の車線LLlastの基準画像T上での位置を、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のサンプリング周期から今回のサンプリング周期までの間の自車両の挙動に基づいて修正して、今回のサンプリング周期における基準画像T上での車線の各位置を推定する。
【0146】
そして、例えば図19に示すように、推定した今回のサンプリング周期での基準画像T上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインJ上で車線候補点cr、clを探索する探索領域Sr、Slとしてそれぞれ自車両の左右に設定するようになっている。
【0147】
そして、図19に示すように、撮像手段2から、撮像した基準画像Tのうち1画素幅の水平ラインJの各画素の輝度pが入力されてくると、本実施形態では、車線検出手段14は、まず、右側の探索領域Srにおける水平ラインJ上を領域Srの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図20に示すように、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された所定の閾値Δpth1以上となり輝度pが大きく変化する画素を車線候補点crとして検出するようになっている。
【0148】
車線検出手段14は、水平ラインJ上における右側の探索領域Srでの探索を終了すると、続いて、同じ水平ラインJ上における左側の探索領域Slでの探索を領域Slの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点clを検出するようになっている。
【0149】
車線検出手段14は、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインJの各画素の輝度pが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインJを本実施形態では基準画像Tの上方向にシフトさせながら車線候補点cr、clを検出するようになっている。
【0150】
このようにして検出された車線候補点cr、clを基準画像T上にプロットすると、図21に示すように、右側の車線付近の領域Aと左側の車線付近の領域Bにそれぞれ車線候補点cr、clがプロットされる。なお、図21や以下の各図では、右側と左側の車線候補点cr、clがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、非常に多くの車線候補点cr、clが検出される。
【0151】
また、本実施形態では、車線検出手段14は、例えば右側の車線に対応する車線候補点crを検出するごとに、検出した車線候補点crの座標(I,J)を図示しないハフ平面に投票するようになっており、上記のように各水平ラインJでの車線候補点crの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。
【0152】
左側の車線に対応する車線候補点clについても同様にハフ変換処理を行うと、図21に示した結果から、例えば図22に示すように、右側の車線に対応する直線として直線r1、r2が、また、左側の車線に対応する直線として直線l1、l2がそれぞれ抽出される。そこで、車線検出手段14は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図23に示すように、右側および左側の車線にふさわしい直線として直線r1、l1をそれぞれ選択するようになっている。
【0153】
そして、車線検出手段14は、自車両に近い側では、図24に示すように、選択した直線r1、l1の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点cr、clからのI軸方向およびJ軸方向の各変位が所定範囲内にある車線候補点cr、clをそれぞれ追跡しながらつなぎ合わせていくことで、図25に示すように、基準画像T上に車線LR、LLをそれぞれ検出するようになっている。
【0154】
車線検出手段14は、このようにして検出した車線LR、LLの情報、車線LR、LL検出の基となった車線候補点cr、clの各座標等をそれぞれメモリに保存するようになっている。
【0155】
また、車線検出手段14は、このようにして検出した左右の車線LR、LLの情報に基づいて、実空間上における車線の三次元的なモデルを形成して路面形状モデル(すなわち第2の路面形状モデル)を生成するようになっている。
【0156】
本実施形態では、車線検出手段14は、例えば図26(A)、(B)に示すように、検出した車線LL、LRを所定区間ごとに三次元の近似直線で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。なお、図26(A)では車線LR、LLを自車両前方の7つの区間でそれぞれ近似直線で近似し、図26(B)では車線LR、LLを自車両前方の2つの区間に分割してそれぞれ近似直線で近似する場合が示されているが、これに限定されない。
【0157】
本実施形態では、各所定区間ごとの直線式を、下記(13)、(14)式で表され図26(A)に示される仮想平面(すなわちZ−X平面)上の路面モデルである水平形状モデルと、下記(15)、(16)式で表され図26(B)に示される仮想平面(すなわちZ−Y平面)上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。
【0158】
[水平形状モデル]
左車線LL x=aL・z+bL …(13)
右車線LR x=aR・z+bR …(14)
[道路高モデル]
左車線LL y=cL・z+dL …(15)
右車線LR y=cR・z+dR …(16)
【0159】
なお、図26(B)では、右車線LRの場合が代表して示されているが、左車線LLについても同様に道路高モデルが生成されるようになっており、本実施形態では、第2の路面形状モデルは、左右の車線LR、LLの道路高モデルの各距離Zでの平均値として算出されるようになっている。
【0160】
また、図26(B)に示した道路高モデル(第2の路面形状モデル)において自車両前方の2つの区間に分割する境界Z0は、第1の実施形態において示した境界DLと、その実空間上の距離zが必ずしも同じになるように設定される必要はなく、また、境界Z0の位置は固定の位置でもよく、或いはサンプリング周期ごとに位置が可変されるように構成されていてもよい。
【0161】
処理手段15は、代表距離検出手段10から近似直線算出手段12までの処理に基づいて路面形状モデル生成手段13で生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択して、必要に応じて外部装置に出力するようになっている。なお、上記のように第1の路面形状モデルはz−j平面上のモデルであり、第2の路面形状モデルはZ−Y平面上のモデルであるため、評価においては、例えば上記(6)式に従ってjをyに適宜変換し、或いはyをjに適宜変換して評価が行われる。
【0162】
本実施形態では、処理手段15は、下記の各観点を総合的に評価して、第1および第2の路面形状モデルのいずれかを選択するようになっている。
【0163】
(1)各路面形状モデルを検出する際に用いられたデータの点数。
第1の路面形状モデルにおけるデータの点数とは、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)の数である。また、第2の路面形状モデルにおけるデータの点数とは、車線LR、LLの検出に用いられた車線候補点cr、cl、すなわち検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clの数である。
【0164】
なお、プロット(zj,j)は距離画像Tzの各水平ラインj上に最大でも1つ検出されるのに対し、車線候補点cr、clは基準画像Tの各水平ラインJ上に左右に2つずつ検出される可能性があるため、プロット(zj,j)の数や車線候補点cr、clの数を比較できる形に変換して比較される。また、データの点数が多いほど、評価が高くなる。
【0165】
(2)データが検出された範囲。
すなわち、評価手段11により除外されずにz−j平面(仮想平面)上に残存しているプロット(zj,j)や、検出された車線LR、LL上またはその所定の近傍範囲内に存在する車線候補点cr、clが、自車両前方のどの距離からどの距離までの間に検出されているかに関する観点である。データが検出された範囲が大きいほど、評価が高くなる。
【0166】
(3)過去のサンプリング周期において生成された各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と、各路面形状モデルの位置との差。
この場合は、サンプリング周期ごとの位置のずれが小さいほど、路面形状モデルが安定的に生成されているとして評価が高くなる。
【0167】
(4)各路面形状モデルを構成する各近似直線に対するデータの分散または標準偏差。
第1の実施形態で説明したように、境界DLで区分される2つの2つの群G1、G2の各近似直線L1、L2に対するデータ(すなわちプロット)の分散σ12、σ22は上記(11)、(12)式で算出されている。また、標準偏差を用いる場合には、標準偏差は各分散σ2の平方根として算出することができる。
【0168】
また、車線検出手段14は、検出した車線LL、LRを近似した上記(15)、(16)式で表される近似直線に対する検出された各データ(すなわち車線候補点cr、cl)の分散σ2または標準偏差を、上記(11)、(12)式と同様の式に従って算出するようになっている。そして、この場合は、分散や標準偏差が小さいほど、評価が高くなる。
【0169】
なお、上記の各観点を全て評価するように構成する必要はなく、それらの観点のうち少なくとも1つに基づいて第1の路面形状モデルと第2の路面形状モデルとがそれぞれ評価される。
【0170】
また、第1の路面形状モデルと第2の路面形状モデルとのいずれかを選択するように構成する代わりに、処理手段15で、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成するように構成することも可能である。
【0171】
この場合、処理手段15は、例えば、上記の各観点から第1および第2の路面形状モデルに対してそれぞれ評価ポイントs1、s2を割り当て、評価ポイントs1、s2にそれぞれ依存して変わる重みをそれぞれ第1および第2の路面形状モデルにつけて平均化して、新たに路面形状モデルを生成するように構成することができる。
【0172】
次に、本実施形態に係る路面形状認識装置20の作用について説明する。
【0173】
例えば、例えば図16に示したような画像Tが撮像されるシーンでは、道路面に標示された車線や矢印等の標示のエッジ部分に比較的多数の距離zのデータが有効に検出されるため、路面形状モデル生成手段13においても車線検出手段14においても路面形状モデルがそれぞれ的確に生成できる。
【0174】
そのため、上記のように、処理手段15で、上記の各観点から第1の路面形状モデルと第2の路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択し、或いは、評価に応じてそれらの路面形状モデルを重み付け平均して新たに路面形状モデルを生成することで、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。
【0175】
また、例えば図2に示したような画像Tが撮像されるシーンでは、路面上に車線が標示されていないため、車線検出手段14による第2の路面形状モデルを生成することができず、或いは仮に生成されたとしても、非常に評価が低く信頼性に乏しい路面形状モデルしか得ることができない。
【0176】
しかし、このような場合でも、本実施形態では、上記の第1の実施形態で説明したように、距離画像生成手段6におけるステレオマッチングで各画素ブロックごとに得られた実空間上の距離zの情報が割り当てられた距離画像Tzに基づいて代表距離検出手段10で的確に代表距離zjを算出し、評価手段11や近似直線算出手段12での処理を経て、路面形状モデル生成手段13で的確に第1の路面形状モデルを生成することができる。
【0177】
そのため、処理手段15では、上記の各観点からこの第1の路面形状モデルが的確に選択され、或いは、第2の路面形状モデルに対して第1の路面形状モデルが圧倒的に大きな重み付けをされた状態で重み付け平均が行われるため、この場合も、自車両前方の路面の形状を的確に反映した路面形状モデルを得ることが可能となる。
【0178】
以上のように、本実施形態に係る路面形状認識装置20によれば、上記の第1の実施形態に係る路面形状認識装置1の効果が的確に発揮されるとともに、路面形状モデル生成手段13により生成された第1の路面形状モデルと、車線検出手段14により生成された第2の路面形状モデルとのいずれかを選択し、或いは、それらの路面形状モデルを評価に応じて重み付け平均して新たに路面形状モデルを生成して、路面上に車線LR、LLが標示されている場合は勿論、車線LR、LLが標示されていない未舗装道路や山道等の路面においても実際の路面形状を的確に検出することが可能となる。
【符号の説明】
【0179】
1、20 路面形状認識装置
2 撮像手段
6 距離画像生成手段
10 代表距離検出手段
11 評価手段
12 近似直線算出手段
13 路面形状モデル生成手段
14 車線検出手段
15 処理手段
C 交点
cr、cl 車線候補点
D、(z,j)、(zj,j) プロット
Da 群の境界部分のプロット
DL 境界
F 度数
G1 自車両に近い側の群
G2 自車両から遠い側の群
Hj ヒストグラム
J 水平ライン
j 水平ライン(水平ラインの位置)
LR、LL 車線
L1、L2 近似直線
p 輝度
R 所定の範囲
Ra 円弧(緩和曲線)
T 基準画像(画像)
Tz 距離画像
x 実空間上の水平位置
y 実空間上の高さ
z 実空間上の距離、代表距離
za 群の境界部分のプロットの実空間上の距離
zj 代表距離
(zjnew,jnew) 後のプロット
(zjold,jold) 先のプロット
Δp 輝度差
Δpth1 所定の閾値
σ12、σ22 分散(統計値)
【特許請求の範囲】
【請求項1】
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする路面形状認識装置。
【請求項2】
前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする請求項1に記載の路面形状認識装置。
【請求項3】
前記代表距離検出手段は、前記ヒストグラムの度数における所定個数のピーク値が属する階級の階級値を前記ヒストグラムにおける統計値とし、前記所定個数のピーク値が属する階級の階級値をそれぞれ当該水平ラインの代表距離として検出することを特徴とする請求項1に記載の路面形状認識装置。
【請求項4】
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする請求項1から請求項3のいずれか一項に記載の路面形状認識装置。
【請求項5】
前記評価手段は、前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする請求項4に記載の路面形状認識装置。
【請求項6】
前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項5のいずれか一項に記載の路面形状認識装置。
【請求項7】
前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項6のいずれか一項に記載の路面形状認識装置。
【請求項8】
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項7のいずれか一項に記載の路面形状認識装置。
【請求項9】
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、2つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする請求項1から請求項8のいずれか一項に記載の路面形状認識装置。
【請求項10】
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする請求項9に記載の路面形状認識装置。
【請求項11】
前記近似直線算出手段は、前記代表距離をz、前記距離画像における前記水平ラインの位置をjと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をza、前記水平ラインの位置をjaと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣz、Σj、Σz2、Σzjからそれぞれza、ja、za2、zajaを減算し、前記他方の群におけるΣz、Σj、Σz2、Σzjにそれぞれza、ja、za2、zajaを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする請求項10に記載の路面形状認識装置。
【請求項12】
前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、2本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする請求項1から請求項8のいずれか一項に記載の路面形状認識装置。
【請求項13】
前記路面形状モデル生成手段は、前記選択した前記2つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする請求項1から請求項12のいずれか一項に記載の路面形状認識装置。
【請求項14】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。
【請求項15】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。
【請求項16】
前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも1つに基づいてそれぞれ評価することを特徴とする請求項14または請求項15に記載の路面形状認識装置。
【請求項1】
自車両が走行する路面について実空間上の水平位置、高さおよび距離を含む位置のデータを互いに異なる複数の地点で検出して、前記各位置のデータを二次元平面上に表した距離画像を生成する距離画像生成手段と、
前記距離画像の各水平ライン上に存在する前記位置のデータ中の前記距離のデータを、前記水平ラインごとに作成されたヒストグラムに投票して、前記各ヒストグラムにおける統計値を前記各水平ラインごとに代表距離として検出し、前記各水平ラインごとに前記代表距離を仮想平面上にプロットする代表距離検出手段と、
前記仮想平面上への前記代表距離のプロットの連続性を前記水平ラインごとに評価して、連続性を有しないと評価した前記プロットを前記仮想平面上から除外する評価手段と、
前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対して近似直線を算出する近似直線算出手段と、
前記近似直線の組み合わせを用いて路面形状モデルを生成する路面形状モデル生成手段と、
を備えることを特徴とする路面形状認識装置。
【請求項2】
前記代表距離検出手段は、前記ヒストグラムの度数の最頻値が属する階級の階級値を前記ヒストグラムにおける統計値とすることを特徴とする請求項1に記載の路面形状認識装置。
【請求項3】
前記代表距離検出手段は、前記ヒストグラムの度数における所定個数のピーク値が属する階級の階級値を前記ヒストグラムにおける統計値とし、前記所定個数のピーク値が属する階級の階級値をそれぞれ当該水平ラインの代表距離として検出することを特徴とする請求項1に記載の路面形状認識装置。
【請求項4】
前記代表距離検出手段は、前記距離画像生成手段が生成した前記距離画像に対して処理を行う前記水平ラインを上方にシフトさせながら下側の前記水平ラインから順に処理を行い、
前記評価手段は、前記仮想平面上に後にプロットされた前記代表距離が、先にプロットされた前記代表距離よりも遠方側にない場合には、当該後のプロットは前記先のプロットと連続性を有しないと評価して、当該後のプロットを前記仮想平面上から除外することを特徴とする請求項1から請求項3のいずれか一項に記載の路面形状認識装置。
【請求項5】
前記評価手段は、前記プロットを除外する処理を連続して行った前記水平ラインが所定の本数に達した場合には、前記先のプロットを除外することを特徴とする請求項4に記載の路面形状認識装置。
【請求項6】
前記代表距離検出手段は、前記距離画像の各水平ライン上に存在する前記位置のデータのうち、過去のサンプリング周期において生成された前記路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の位置から所定の範囲内に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項5のいずれか一項に記載の路面形状認識装置。
【請求項7】
前記代表距離検出手段は、前記距離画像中に自車両の挙動から推定される自車両の進行路を含む所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項6のいずれか一項に記載の路面形状認識装置。
【請求項8】
前記距離画像上に車線を検出する車線検出手段を備え、
前記代表距離検出手段は、前記距離画像の各水平ラインのうち、前記車線検出手段により検出された前記車線に基づいて所定の範囲を設定し、前記所定の範囲内の前記各水平ライン上に存在する前記位置のデータ中の前記距離のデータのみを、前記ヒストグラムに投票することを特徴とする請求項1から請求項7のいずれか一項に記載の路面形状認識装置。
【請求項9】
前記近似直線算出手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットについて、前記代表距離に基づいて、前記全てのプロットを、前記自車両に近い側の群と遠い側の群とに分割し、2つの前記群の境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記群ごとに前記各プロットを近似する近似直線をそれぞれ算出し、
前記路面形状モデル生成手段は、前記プロットを移し替えた前記群ごとに、それぞれの前記近似直線に基づく統計値を算出し、算出した前記2つの群の前記各近似直線に基づく統計値に基づいて、前記2つの群の前記近似直線の組み合わせの中から1つを選択し、選択した前記近似直線の組み合わせを用いて前記路面形状モデルを生成することを特徴とする請求項1から請求項8のいずれか一項に記載の路面形状認識装置。
【請求項10】
前記近似直線算出手段は、最小二乗法により、前記群ごとに前記各プロットをそれぞれ近似する前記近似直線を算出し、
前記路面形状モデル生成手段は、前記近似直線に基づく統計値として、前記各群に属する前記各プロットの前記近似直線に対する分散または標準偏差を前記群ごとに算出し、算出した前記2つの群の前記各近似直線に基づく統計値の合計値が最小となる前記近似直線の組み合わせを選択することを特徴とする請求項9に記載の路面形状認識装置。
【請求項11】
前記近似直線算出手段は、前記代表距離をz、前記距離画像における前記水平ラインの位置をjと表し、移し替えられる前記境界部分の前記プロットにおける前記代表距離をza、前記水平ラインの位置をjaと表し、前記各群ごとの総和をΣを用いて表す場合、当該境界部分の前記プロットを一方の前記群から他方の前記群に移し替えるごとに、前記一方の群におけるΣz、Σj、Σz2、Σzjからそれぞれza、ja、za2、zajaを減算し、前記他方の群におけるΣz、Σj、Σz2、Σzjにそれぞれza、ja、za2、zajaを加算して、前記最小二乗法により、前記群ごとに前記プロットを近似する前記近似直線をそれぞれ算出することを特徴とする請求項10に記載の路面形状認識装置。
【請求項12】
前記路面形状モデル生成手段は、前記評価手段により除外されずに前記仮想平面上に残存している全ての前記プロットに対してハフ変換を行い、2本の前記近似直線を算出して前記路面形状モデルを少なくとも前記仮想平面上の形状として生成することを特徴とする請求項1から請求項8のいずれか一項に記載の路面形状認識装置。
【請求項13】
前記路面形状モデル生成手段は、前記選択した前記2つの群の前記各近似直線の交点部分を、前記各近似直線を接線とする緩和曲線で置換して、生成した前記路面形状モデルを補正することを特徴とする請求項1から請求項12のいずれか一項に記載の路面形状認識装置。
【請求項14】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、いずれかの路面形状モデルを選択する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。
【請求項15】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出して、検出した前記車線の情報に基づいて路面形状モデルを少なくとも仮想平面上の形状として生成する車線検出手段と、
前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとをそれぞれ評価して、両方の前記路面形状モデルを重み付け平均して路面形状モデルを生成する処理手段と、
を備えることを特徴とする請求項1から請求項13のいずれか一項に記載の路面形状認識装置。
【請求項16】
前記処理手段は、前記路面形状モデル生成手段が生成した前記路面形状モデルと、前記車線検出手段が生成した前記路面形状モデルとを、前記各路面形状モデルを検出する際に用いられたデータの点数、前記データが検出された範囲、過去のサンプリング周期において生成された前記各路面形状モデルとその後の自車両の挙動に基づいて推定される今回のサンプリング周期における路面の各位置と前記各路面形状モデルの位置との差、または、前記各路面形状モデルを構成する前記各近似直線に対する前記データの分散または標準偏差のうちの少なくとも1つに基づいてそれぞれ評価することを特徴とする請求項14または請求項15に記載の路面形状認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2011−128844(P2011−128844A)
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願番号】特願2009−286178(P2009−286178)
【出願日】平成21年12月17日(2009.12.17)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願日】平成21年12月17日(2009.12.17)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]