車両用走行路面検出装置
【課題】簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供する。
【解決手段】本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出する位置検出手段と、２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有する。
【解決手段】本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出する位置検出手段と、２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。
【背景技術】
【０００２】
従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
【０００３】
【特許文献１】特開２００６−０５３７５４号公報
【特許文献２】特開平０９−３２５０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。さらに、例えば白線上の一点を捉えてその一点の位置変化を時間的に追って路面を検出するのでは、処理時間が多くかかってしまうものであった。
【０００５】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、複数のテクスチャのそれぞれの２点の位置から、複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。
このように構成された本発明においては、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。
【０００７】
また、本発明において、好ましくは、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。
また、本発明において、好ましくは、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。
【０００８】
また、本発明において、好ましくは、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【０００９】
また、本発明において、好ましくは、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００１０】
また、本発明において、好ましくは、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定する特定領域設定手段と、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、を有する。
【００１１】
ｓ このように構成された本発明においては、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。
【００１２】
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定される。
このように構成された本発明においては、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。
【発明の効果】
【００１３】
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両及び路面の車両からの距離及び高さを検出する路面状態検出方法を説明する。図１は、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、ＥＣＵの対応点検出部による対応点探索に用いられるＡrea-based matching手法の説明図であり、図３は、ＥＣＵの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像であり（ａ）、左側カメラ画像に対して、ＥＣＵの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図（ｂ）である。図４は、ＥＣＵの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のｙ座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図であり、図５は、ＥＣＵの路面判定部にて求められる対応点の分布を示す分布図であって、図４の下限ラインに対して所定距離隔てたＰＬ線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。
【００１５】
先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。このステレオカメラ４によりステレオ画像が得られる。
【００１６】
次に、路面状態検出方法について説明する。本実施形態による路面状態検出方法によれば、後述する白線の所定の２点の距離と高さの検出は通常のステレオ視で行い、例えば、左右カメラの画像中の高さ方向位置から高さを求め、左右カメラの対応点を探索し、これらの対応点の視差から三角測量の原理より距離を求める。
【００１７】
より詳細には、左右のカメラ画像ＧＬ，ＧＲ間で互いに対応付けられる対応点を、公知の方法であるArea-based matching手法に基づいて行う。Area-based matching手法とは、一方の画像のある点の対応点を、他方の画像から探す際にその点の回りの局所的な輝度値（濃度）パターンを手がかりに探索しようとするものである。具体的には、対応点検出は、図２に示すように、左側カメラ画像ＧＬの一の画素回りに３×３ピクセルのウィンドを設定すると共にウィンドに囲まれた画像をテンプレート画像ＧＴとして、右側カメラ画像ＧＲのエピポーラ（epipolar line）線ＥＬ上に設定した探索範囲ＧＳ内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像ＧＬの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、ＳＡＤアルゴリズム（Sum of Absolute Difference）を採用している。すなわち、対応点検出により、左側カメラ画像ＧＬに設定されたテンプレート画像ＧＴと、マッチングを行う右側カメラ画像ＧＲ内の画像との間で対応する画素間の輝度差の合計値（ＳＡＤ値）を次式（１）により算出して、この合計値が所定値以下である場合には対応点が検出されたものとして、その画像面上での座標を記憶する。そうして、この各対応点の座標情報を基に領域内に含まれる対応点の数を算出する。尚、マッチングに使用するアルゴリズムは、ＳＡＤアルゴリズムに限ったものではなく、例えば、ＳＳＤ（Sum of Squared Difference)アルゴリズムや、ＮＣＣ（Normalized Cross Correlation）アルゴリズムを使用するようにしてもよい。
【００１８】
【数１】
ＭＬ：左側画像の画素の輝度値
ＭＲ：右側画像の画素の輝度値
【００１９】
次に、算出された輝度分布を基に左側カメラ画像ＧＬの領域内に写し出された被撮像物が走行路面か否かを判定する。具体的には、路面判定処理は、例えば以下のようにして行われる。まず、検出された対応点の、左右のカメラ画像ＧＬ，ＧＲ間での位置ずれ量（視差）を基に三角測量の原理によって距離情報を求める処理を行なって、各対応点の３次元の分布、つまり各対応点の車幅方向の位置情報及び車両からの前方距離情報を表す距離画像データ（図３（ａ）及び図４参照）を生成する。そして、この距離画像データを基に、車幅方向中央位置（左側カメラ画像ＧＬのｘ方向の中央の画素列に対応する位置）に含まれる対応点を、横軸を車両前方距離とし且つ縦軸を画像面上のｙ座標とするグラフにプロットしてその分布図（図５参照）を作成する。そうして、作成した対応点分布図を基に、走行路面の地表面に対応する下限ラインＵＬを求める。尚、図４では、被撮像物が車両前方を走行する先行車両である場合の対応点分布を示していて、先行車両に相当する部分がピーク部Ｖとして現れている。そして更に、特定した下限ラインと所定距離（画像面上での距離）を隔てた平行ラインＰＬを求めた上で、該平行ラインＰＬを含む平面内（紙面に垂直な平面内）に位置する対応点の密度分布を求める。
【００２０】
具体的には、この対応点密度を予め設定した車両前方距離範囲Ｄ１乃至Ｄ４毎（車両前方距離毎）に車幅方向の各位置（左側カメラ画像の各ｘ座標）にて算出する。そして、算出した対応点密度が図５に示すように車幅方向に一様になっている場合（例えば、各車両前方距離範囲Ｄ１乃至Ｄ４における対応点密度の車幅方向の変化率が全て所定値以下になっている場合）には、被撮像物が走行路面であると判定する一方、対応点密度が車幅方向に一様でない場合には、被撮像物が走行路面ではない（例えば先行車両や障害物等である）と判定する。
【００２１】
次に、図６乃至図８により、本発明の第１実施形態による車両用走行路面検出装置の処理の概念を説明する。
図６は、車両と車両の進行方向の路面上のテクスチャを示す概念図であり、図７は、車両から見える路面、テクスチャ及び各テクスチャに設定された２点の位置を示す概念図であり、図８は、本発明の第１実施形態の路面検出装置により得られた各テクスチャによる路面の直線及び交点を示す図である。
【００２２】
本発明の第１実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面上の白線などの複数のテクスチャ内の２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。
【００２３】
先ず、図６に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図７に示すような画像が得られる。図７において、各白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。
【００２４】
次に、図９により、ＥＣＵによる処理内容をブロック図により説明する。図９は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図９に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００２５】
次に、白線検出部２６において、ステレオカメラ４で得られた画像から路面上の白線を検出する。次に、対応点探索部２８では、白線検出部２６で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
次に、距離高さ算出部３０では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
【００２６】
次に、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部３４において、白線勾配算出部３２により求められた直線を上下（前後）に延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
次に、走行路面勾配検出部３６により、白線勾配算出部３２及び白線連結処理部３４により得られた直線のつながりにより、走行路面の勾配を検出する（図８参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００２７】
次に、図１０及び図１１により、本発明の第１実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１０は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すフローチャートであり、図１１は、本発明の第１実施形態の白線による路面傾斜算出内容を示すフローチャートである。Ｓは、各ステップを示す。
【００２８】
図１０に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出される。次に、Ｓ４において、白線検出部２６により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ５において、白線勾配算出部３２により白線による路面傾斜が算出され、Ｓ６において、白線連結処理部３４により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。
【００２９】
図１１に示すように、白線勾配算出部３２による白線による路面傾斜の算出では、Ｓ１０において、対応点探索部２８により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、Ｓ１１において、距離高さ算出部３０において、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。
【００３０】
次に、Ｓ１２において、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。
【００３１】
次に、図１２乃至図１４により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。
図１２は、車両と車両の進行方向の路面上のテクスチャと路面の各分割領域を示す概念図であり、図１３は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の各分割領域を示す図であり、図１４は、本発明の第２実施形態の路面検出装置により得られた各分割領域における路面の直線及び交点を示す図である。
【００３２】
本発明の第２実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を車両進行方向に複数に分割した領域を設定し、それらの設定された各領域毎に、路面上の白線などの複数のテクスチャから２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。
【００３３】
先ず、図１２に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図１３に示すような画像が得られる。また、図１２及び図１３に示すように、路面は、Ａ１〜Ａ４と複数の領域に分割されている。
【００３４】
図１３において、各分割領域Ａ１〜Ａ４毎に、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、各分割領域Ａ１〜Ａ４毎に勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。
【００３５】
次に、図１５により、ＥＣＵによる処理内容をブロック図により説明する。図１５は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１５に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）１２０及び画像記憶部（左）１２２で記憶する。路面領域判定部１２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部１２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００３６】
次に、路面分割処理部１２６により、路面が複数に分割される。この路面分割処理部１２６においては、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。
次に、白線検出部１３０において、路面分割処理部１２６により分割された領域Ａ１〜Ａ４毎に、ステレオカメラ４で得られた画像から路面上の白線を１つづつ検出する。次に、対応点探索部１３２では、白線検出部１３０で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
【００３７】
次に、距離高さ算出部１３４では、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部１３８において、白線勾配算出部３２により求められた直線を延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
【００３８】
次に、走行路面勾配検出部１４０により、白線勾配算出部１３６及び白線連結処理部１３８により得られた直線のつながりにより、走行路面の勾配を検出する（図１４参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００３９】
次に、図１６により、本発明の第２実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１６は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。Ｓは、各ステップを示す。
【００４０】
図１６に示すように、Ｓ２１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２２において、ステレオカメラ４により撮像されたデータが画像記憶部１２０、１２２に記憶される。次に、Ｓ２３において、路面領域判定部１２４により、走行路面となる対象領域が抽出される。次に、Ｓ２４において、路面分割処理部１２６により、路面を複数に分割する。ここでは、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。次に、Ｓ２５において、白線検出部１３０により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ２６において、白線勾配算出部１３６により白線による路面傾斜が算出され、Ｓ２７において、白線連結処理部１３８により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。
【００４１】
Ｓ２６に示す白線による路面勾配算出では、対応点探索部１３２により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、距離高さ算出部１３４において、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。
【００４２】
次に、図１７乃至図２０により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。図１７は、車両の進行方向の前方に設定した画像処理を行う特定領域及びテクスチャを示す概念図であり、図１８は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の特定領域を示す図であり、図１９は、それぞれ所定時間前において勾配が決定された特定領域の位置（ａ、ｃ、ｅ）と、それらの過去の特定領域の位置が現在の位置に補正された位置（ｂ、ｄ、ｆ）と、現在における特定領域の位置（ｇ）とを示す概念図であり、図２０は、本発明の第３実施形態の路面検出装置により得られた特定領域及び過去の特定領域で算出された勾配を結合して得られる路面の直線及び交点を示す図である。
【００４３】
本発明の第３実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、例えば数十ｍ先に所定の特定領域を設定してその特定領域の距離及び傾きを求め、車両が進行することにより路面が刻々と変化するとき、その特定領域の距離及び傾きの情報を時系列的に結合して、特定平面を含む特定平面より手前の路面の勾配を検出するものである。
【００４４】
先ず、図１７に示すように、本発明の実施形態では、車両の進行方向前方の数十ｍ先における所定の領域の路面を、特定領域（特定平面）として決定し、上述した図３乃至図６による路面状態検出方法により、この特定領域の車両からの距離ｄ及び高さｈを算出する。
【００４５】
図１８において、数十ｍ先に存在する特定領域において、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２という、白線の最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、その特定領域における勾配が検出される。
【００４６】
次に、図１９（ｈ）に示すように、現在の路面状態Ａ、Ｂ、Ｃ、Ｄにおける各路面勾配をどのように決定するかを説明する。
先ず、図１９（ａ）に示すように、３ΔＴ秒前には、静止物ｂ及び特定領域Ａが存在する。そして、現在では、図１９（ｂ）に示すように、３ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ａ））に特定した特定領域Ａが所定距離だけ車両側に近づいていることが特定される。
【００４７】
同様に、図１９（ｃ）に示すように、２ΔＴ秒前には、静止物ｂ及び特定領域Ｂが存在する。そして、現在では、図１９（ｄ）に示すように、２ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｃ））に特定した特定領域Ｂが所定距離だけ車両側に近づいていることが特定される。
【００４８】
同様に、図１９（ｅ）に示すように、ΔＴ秒前には、静止物ｂ及び特定領域Ｃが存在する。そして、現在では、図１９（ｆ）に示すように、ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｅ））に特定した特定領域ｃが所定距離だけ車両側に近づいていることが特定される。
そして、現在では、図１９（ｇ）に示すように、特定領域Ｄが存在する。
【００４９】
これらのことから、図１９（ｈ）に示すように、３ΔＴ秒前に勾配が決定された領域Ａ、２ΔＴ秒前に勾配が決定された領域Ｂ、ΔＴ秒前に勾配が決定された領域Ｃ、及び、現在の領域Ｄが、結合された状態として得られる。それぞれの領域Ａ〜Ｄの勾配は、それぞれ、３ΔＴ秒前、２ΔＴ秒前、ΔＴ秒前及び現在で特定されているので、車両の進行方向の広い領域の道路状態（勾配など）を把握することが出来るのである。例えば、図２０に示すように、３ΔＴ秒前に特定されたＰ１１及びＰ１２、２ΔＴ秒前に特定されたＰ２１及びＰ２２、ΔＴ秒前に特定されたＰ３１及びＰ３２、現在、特定領域として特定されたＰ４１及びＰ４２により、それぞれ、直線Ｌ１、Ｌ２、Ｌ３、Ｌ４が決定され、それらの直線と、交点Ｓ１、Ｓ２、Ｓ３とにより、路面勾配が求められる。
【００５０】
次に、図２１乃至図２３により、ＥＣＵによる処理内容をブロック図により説明する。図２１は、本発明の第３実施形態による車両用走行路面検出装置における処理内容を示すブロック図であり、図２２は、オプティカルフロー処理の内容を示す概念図であり、図２３は、位置補正の処理内容を示すフローチャートである。
図２１に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、ΔＴ毎に、画像記憶部（右）２２０及び画像記憶部（左）２２２で記憶する。路面領域判定部２２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００５１】
次に、画像処理領域（特定領域、特定平面）設定部２２６では、路面の車両からの距離ｄ及び高さｈを検出する特定領域を数十ｍ前方側に設定する。次に、白線検出部２２８において、画像処理領域設定部２２６で設定された特定領域で、ステレオカメラ４で得られた画像から路面上の白線を１つ検出する。次に、対応点探索部２３０では、白線検出部２２８で検出された白線について、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
【００５２】
次に、距離高さ算出部２３２では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２３０により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
白線勾配及び静止物位置算出部２３４では、距離高さ算出部２３２で算出された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）から、白線の勾配及び静止物ｂとの相対距離を算出する。この白線勾配及び静止物位置算出部２３４で算出された特定領域の勾配及び車両と静止物ｂとの相対距離は、特定領域勾配記憶部２３６に、ΔＴ毎に記憶される。
【００５３】
一方、特定領域の移動量（例えば、図１９（ｂ）、（ｄ）、（ｆ）参照）を正確に算出するために、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２での処理を行う。
具体的には、静止物検出部（オプティカルフロー処理部）２４０では、図２２に示すように、Ｔにおける画像と、Ｔ＋ΔＴにおける画像とをマッチング処理し、静止物ｂの移動ベクトルを算出する。
【００５４】
そして、位置補正部２４２では、図２３に示すように、先ず、Ｓ３１において静止物ｂの位置変化（オプティカルフローにより得られる移動ベクトル）により自車両の移動量を算出し、次に、Ｓ３２において、自車両の移動量により、前フレーム画像（例えば、図１９（ａ））が、今フレーム画像（例えば、図１９（ｂ））で表される領域を算出する。次に、Ｓ３３において、マッチング処理により前フレーム画像と今フレーム画像との位置を特定する。
【００５５】
次に、各白線の連結処理部２４４では、図２０に示すような、各直線Ｌ１、Ｌ２、Ｌ３、Ｌ４を各交点Ｓ１、Ｓ２、Ｓ３で結ぶ連結処理を行う。
次に、走行路面勾配検出部２４６では、白線勾配及び静止物位置算出部２３４から得られる現在の特定平面の勾配（例えば、図１９（ｇ））の情報と、特定領域勾配記憶部２３６に記憶された過去の特定平面（例えば、図１９（ａ）、（ｃ）、（ｅ））の情報を位置補正部２４２により移動量が補正された情報（例えば、図１９（ｂ）、（ｄ）、（ｆ））により、図１９（ｈ）で示すような、車両前方の広い領域の道路状態（距離ｄ、傾きｎ）を検出するようになっている。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００５６】
次に、図２４により、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図２４は、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図２４に示すように、Ｓ４１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ４２において、ステレオカメラ４により撮像されたデータが画像記憶部２２０、２２２に記憶される。次に、Ｓ４３において、路面領域判定部２２４により、走行路面となる対象領域が抽出され、さらに、Ｓ４４において、画像処理領域設定部２２６で画像処理する特定領域を設定する。この特定領域は、車速に応じて、例えば、高速時には遠方に設定し、低速時には近方に設定するようにしても良い。また、特定領域の広さを遠方時には小さく、近方時には広くするようにしても良い。
【００５７】
次に、Ｓ４５において、静止物検出部（オプティカルフロー処理部）３４により、静止物ｂの抽出及びオプティカルフローによる移動ベクトルの算出が行われる。次に、Ｓ４６において、白線検出部２２８により白線が検出され、Ｓ４７で、白線勾配及び静止物位置算出部２３４により、特定領域の車両からの距離ｄ及び高さｈが検出されると共に、特定領域勾配記憶部２３６に記憶される。
【００５８】
次に、Ｓ４８において、特定領域勾配記憶部２３６に記憶された、各時刻Ｔｉ−１、Ｔｉ−２、Ｔ０における特定領域勾配を読み込む。次に、Ｓ４９において、Ｓ４８で読み込まれた勾配を、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２により処理された静止物ｂの移動量（自車両との相対距離（（ｘｉ、ｙｉ））で表される）により、補正する。
【００５９】
次に、Ｓ５０において、Ｓ４８及びＳ４９の処理で得られたデータにより、路面勾配（例えば、図１９（ｈ））を算出する。次に、Ｓ５１において、特定領域の平面Ａの時刻Ｔｉでの勾配（位置ｄｉ、ｎｉ）及び静止物ｂとの相対距離（ｘｉ、ｙｉ）を、特定領域勾配記憶部３２に記憶させる。次に、Ｓ５２において、ｉ＝ｉ＋１として次の処理に進む。
【００６０】
以上、本発明の第１乃至第３実施形態によれば、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出するために、走行路面を撮像するステレオカメラ４により撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定する。このように、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。
【００６１】
また、本発明の第１乃至第３実施形態によれば、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。さらに、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。
【００６２】
また、本発明の第１乃至第３実施形態によれば、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００６３】
また、本発明の第２実施形態によれば、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００６４】
また、本発明の第３実施形態によれば、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定するので、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。
【００６５】
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定されるので、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。
【図面の簡単な説明】
【００６６】
【図１】、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両の概念図である。
【図２】ＥＣＵの対応点検出部による対応点探索に用いられるＡrea-based matching手法の説明図である。
【図３】ＥＣＵの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像であり（ａ）、左側カメラ画像に対して、ＥＣＵの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図（ｂ）である。
【図４】ＥＣＵの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のｙ座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図である。
【図５】ＥＣＵの路面判定部にて求められる対応点の分布を示す分布図であって、図４の下限ラインに対して所定距離隔てたＰＬ線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。
【図６】本発明の第１実施形態による車両と車両の進行方向の路面上のテクスチャを示す概念図である。
【図７】本発明の第１実施形態による車両から見える路面、テクスチャ及び各テクスチャに設定された２点の位置を示す概念図である。
【図８】本発明の第１実施形態の路面検出装置により得られた各テクスチャによる路面の直線及び交点を示す図である。
【図９】本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１０】本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。
【図１１】本発明の第１実施形態の白線による路面傾斜算出内容を示すフローチャートである。
【図１２】本発明の第２実施形態による車両と車両の進行方向の路面上のテクスチャと路面の各分割領域を示す概念図である。
【図１３】本発明の第２実施形態による車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の各分割領域を示す図である。
【図１４】本発明の第２実施形態の路面検出装置により得られた各分割領域における路面の直線及び交点を示す図である。
【図１５】本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１６】本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。
【図１７】本発明の第３実施形態における車両の進行方向の前方に設定した画像処理を行う特定領域及びテクスチャを示す概念図である。
【図１８】本発明の第３実施形態における車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の特定領域を示す図である。
【図１９】本発明の第３実施形態におけるそれぞれ所定時間前において勾配が決定された特定領域の位置（ａ、ｃ、ｅ）と、それらの過去の特定領域の位置が現在の位置に補正された位置（ｂ、ｄ、ｆ）と、現在における特定領域の位置（ｇ）とを示す概念図である。
【図２０】本発明の第３実施形態の路面検出装置により得られた特定領域及び過去の特定領域で算出された勾配を結合して得られる路面の直線及び交点を示す図である。
【図２１】本発明の第３実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図２２】本発明の第３実施形態によるオプティカルフロー処理の内容を示す概念図である。
【図２３】本発明の第３実施形態による位置補正の処理内容を示すフローチャートである。
【図２４】本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。
【符号の説明】
【００６７】
１ 車両
４ ステレオカメラ
６ ＥＣＵ
【技術分野】
【０００１】
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。
【背景技術】
【０００２】
従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
【０００３】
【特許文献１】特開２００６−０５３７５４号公報
【特許文献２】特開平０９−３２５０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。さらに、例えば白線上の一点を捉えてその一点の位置変化を時間的に追って路面を検出するのでは、処理時間が多くかかってしまうものであった。
【０００５】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、複数のテクスチャのそれぞれの２点の位置から、複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。
このように構成された本発明においては、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。
【０００７】
また、本発明において、好ましくは、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。
また、本発明において、好ましくは、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。
【０００８】
また、本発明において、好ましくは、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【０００９】
また、本発明において、好ましくは、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００１０】
また、本発明において、好ましくは、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定する特定領域設定手段と、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、を有する。
【００１１】
ｓ このように構成された本発明においては、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。
【００１２】
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定される。
このように構成された本発明においては、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。
【発明の効果】
【００１３】
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両及び路面の車両からの距離及び高さを検出する路面状態検出方法を説明する。図１は、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、ＥＣＵの対応点検出部による対応点探索に用いられるＡrea-based matching手法の説明図であり、図３は、ＥＣＵの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像であり（ａ）、左側カメラ画像に対して、ＥＣＵの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図（ｂ）である。図４は、ＥＣＵの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のｙ座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図であり、図５は、ＥＣＵの路面判定部にて求められる対応点の分布を示す分布図であって、図４の下限ラインに対して所定距離隔てたＰＬ線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。
【００１５】
先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。このステレオカメラ４によりステレオ画像が得られる。
【００１６】
次に、路面状態検出方法について説明する。本実施形態による路面状態検出方法によれば、後述する白線の所定の２点の距離と高さの検出は通常のステレオ視で行い、例えば、左右カメラの画像中の高さ方向位置から高さを求め、左右カメラの対応点を探索し、これらの対応点の視差から三角測量の原理より距離を求める。
【００１７】
より詳細には、左右のカメラ画像ＧＬ，ＧＲ間で互いに対応付けられる対応点を、公知の方法であるArea-based matching手法に基づいて行う。Area-based matching手法とは、一方の画像のある点の対応点を、他方の画像から探す際にその点の回りの局所的な輝度値（濃度）パターンを手がかりに探索しようとするものである。具体的には、対応点検出は、図２に示すように、左側カメラ画像ＧＬの一の画素回りに３×３ピクセルのウィンドを設定すると共にウィンドに囲まれた画像をテンプレート画像ＧＴとして、右側カメラ画像ＧＲのエピポーラ（epipolar line）線ＥＬ上に設定した探索範囲ＧＳ内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像ＧＬの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、ＳＡＤアルゴリズム（Sum of Absolute Difference）を採用している。すなわち、対応点検出により、左側カメラ画像ＧＬに設定されたテンプレート画像ＧＴと、マッチングを行う右側カメラ画像ＧＲ内の画像との間で対応する画素間の輝度差の合計値（ＳＡＤ値）を次式（１）により算出して、この合計値が所定値以下である場合には対応点が検出されたものとして、その画像面上での座標を記憶する。そうして、この各対応点の座標情報を基に領域内に含まれる対応点の数を算出する。尚、マッチングに使用するアルゴリズムは、ＳＡＤアルゴリズムに限ったものではなく、例えば、ＳＳＤ（Sum of Squared Difference)アルゴリズムや、ＮＣＣ（Normalized Cross Correlation）アルゴリズムを使用するようにしてもよい。
【００１８】
【数１】
ＭＬ：左側画像の画素の輝度値
ＭＲ：右側画像の画素の輝度値
【００１９】
次に、算出された輝度分布を基に左側カメラ画像ＧＬの領域内に写し出された被撮像物が走行路面か否かを判定する。具体的には、路面判定処理は、例えば以下のようにして行われる。まず、検出された対応点の、左右のカメラ画像ＧＬ，ＧＲ間での位置ずれ量（視差）を基に三角測量の原理によって距離情報を求める処理を行なって、各対応点の３次元の分布、つまり各対応点の車幅方向の位置情報及び車両からの前方距離情報を表す距離画像データ（図３（ａ）及び図４参照）を生成する。そして、この距離画像データを基に、車幅方向中央位置（左側カメラ画像ＧＬのｘ方向の中央の画素列に対応する位置）に含まれる対応点を、横軸を車両前方距離とし且つ縦軸を画像面上のｙ座標とするグラフにプロットしてその分布図（図５参照）を作成する。そうして、作成した対応点分布図を基に、走行路面の地表面に対応する下限ラインＵＬを求める。尚、図４では、被撮像物が車両前方を走行する先行車両である場合の対応点分布を示していて、先行車両に相当する部分がピーク部Ｖとして現れている。そして更に、特定した下限ラインと所定距離（画像面上での距離）を隔てた平行ラインＰＬを求めた上で、該平行ラインＰＬを含む平面内（紙面に垂直な平面内）に位置する対応点の密度分布を求める。
【００２０】
具体的には、この対応点密度を予め設定した車両前方距離範囲Ｄ１乃至Ｄ４毎（車両前方距離毎）に車幅方向の各位置（左側カメラ画像の各ｘ座標）にて算出する。そして、算出した対応点密度が図５に示すように車幅方向に一様になっている場合（例えば、各車両前方距離範囲Ｄ１乃至Ｄ４における対応点密度の車幅方向の変化率が全て所定値以下になっている場合）には、被撮像物が走行路面であると判定する一方、対応点密度が車幅方向に一様でない場合には、被撮像物が走行路面ではない（例えば先行車両や障害物等である）と判定する。
【００２１】
次に、図６乃至図８により、本発明の第１実施形態による車両用走行路面検出装置の処理の概念を説明する。
図６は、車両と車両の進行方向の路面上のテクスチャを示す概念図であり、図７は、車両から見える路面、テクスチャ及び各テクスチャに設定された２点の位置を示す概念図であり、図８は、本発明の第１実施形態の路面検出装置により得られた各テクスチャによる路面の直線及び交点を示す図である。
【００２２】
本発明の第１実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面上の白線などの複数のテクスチャ内の２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。
【００２３】
先ず、図６に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図７に示すような画像が得られる。図７において、各白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。
【００２４】
次に、図９により、ＥＣＵによる処理内容をブロック図により説明する。図９は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図９に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００２５】
次に、白線検出部２６において、ステレオカメラ４で得られた画像から路面上の白線を検出する。次に、対応点探索部２８では、白線検出部２６で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
次に、距離高さ算出部３０では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
【００２６】
次に、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部３４において、白線勾配算出部３２により求められた直線を上下（前後）に延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
次に、走行路面勾配検出部３６により、白線勾配算出部３２及び白線連結処理部３４により得られた直線のつながりにより、走行路面の勾配を検出する（図８参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００２７】
次に、図１０及び図１１により、本発明の第１実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１０は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すフローチャートであり、図１１は、本発明の第１実施形態の白線による路面傾斜算出内容を示すフローチャートである。Ｓは、各ステップを示す。
【００２８】
図１０に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出される。次に、Ｓ４において、白線検出部２６により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ５において、白線勾配算出部３２により白線による路面傾斜が算出され、Ｓ６において、白線連結処理部３４により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。
【００２９】
図１１に示すように、白線勾配算出部３２による白線による路面傾斜の算出では、Ｓ１０において、対応点探索部２８により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、Ｓ１１において、距離高さ算出部３０において、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。
【００３０】
次に、Ｓ１２において、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。
【００３１】
次に、図１２乃至図１４により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。
図１２は、車両と車両の進行方向の路面上のテクスチャと路面の各分割領域を示す概念図であり、図１３は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の各分割領域を示す図であり、図１４は、本発明の第２実施形態の路面検出装置により得られた各分割領域における路面の直線及び交点を示す図である。
【００３２】
本発明の第２実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を車両進行方向に複数に分割した領域を設定し、それらの設定された各領域毎に、路面上の白線などの複数のテクスチャから２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。
【００３３】
先ず、図１２に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図１３に示すような画像が得られる。また、図１２及び図１３に示すように、路面は、Ａ１〜Ａ４と複数の領域に分割されている。
【００３４】
図１３において、各分割領域Ａ１〜Ａ４毎に、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、各分割領域Ａ１〜Ａ４毎に勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。
【００３５】
次に、図１５により、ＥＣＵによる処理内容をブロック図により説明する。図１５は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１５に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）１２０及び画像記憶部（左）１２２で記憶する。路面領域判定部１２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部１２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００３６】
次に、路面分割処理部１２６により、路面が複数に分割される。この路面分割処理部１２６においては、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。
次に、白線検出部１３０において、路面分割処理部１２６により分割された領域Ａ１〜Ａ４毎に、ステレオカメラ４で得られた画像から路面上の白線を１つづつ検出する。次に、対応点探索部１３２では、白線検出部１３０で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
【００３７】
次に、距離高さ算出部１３４では、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部１３８において、白線勾配算出部３２により求められた直線を延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
【００３８】
次に、走行路面勾配検出部１４０により、白線勾配算出部１３６及び白線連結処理部１３８により得られた直線のつながりにより、走行路面の勾配を検出する（図１４参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００３９】
次に、図１６により、本発明の第２実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１６は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。Ｓは、各ステップを示す。
【００４０】
図１６に示すように、Ｓ２１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２２において、ステレオカメラ４により撮像されたデータが画像記憶部１２０、１２２に記憶される。次に、Ｓ２３において、路面領域判定部１２４により、走行路面となる対象領域が抽出される。次に、Ｓ２４において、路面分割処理部１２６により、路面を複数に分割する。ここでは、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。次に、Ｓ２５において、白線検出部１３０により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ２６において、白線勾配算出部１３６により白線による路面傾斜が算出され、Ｓ２７において、白線連結処理部１３８により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。
【００４１】
Ｓ２６に示す白線による路面勾配算出では、対応点探索部１３２により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、距離高さ算出部１３４において、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。
【００４２】
次に、図１７乃至図２０により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。図１７は、車両の進行方向の前方に設定した画像処理を行う特定領域及びテクスチャを示す概念図であり、図１８は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の特定領域を示す図であり、図１９は、それぞれ所定時間前において勾配が決定された特定領域の位置（ａ、ｃ、ｅ）と、それらの過去の特定領域の位置が現在の位置に補正された位置（ｂ、ｄ、ｆ）と、現在における特定領域の位置（ｇ）とを示す概念図であり、図２０は、本発明の第３実施形態の路面検出装置により得られた特定領域及び過去の特定領域で算出された勾配を結合して得られる路面の直線及び交点を示す図である。
【００４３】
本発明の第３実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、例えば数十ｍ先に所定の特定領域を設定してその特定領域の距離及び傾きを求め、車両が進行することにより路面が刻々と変化するとき、その特定領域の距離及び傾きの情報を時系列的に結合して、特定平面を含む特定平面より手前の路面の勾配を検出するものである。
【００４４】
先ず、図１７に示すように、本発明の実施形態では、車両の進行方向前方の数十ｍ先における所定の領域の路面を、特定領域（特定平面）として決定し、上述した図３乃至図６による路面状態検出方法により、この特定領域の車両からの距離ｄ及び高さｈを算出する。
【００４５】
図１８において、数十ｍ先に存在する特定領域において、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２という、白線の最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、その特定領域における勾配が検出される。
【００４６】
次に、図１９（ｈ）に示すように、現在の路面状態Ａ、Ｂ、Ｃ、Ｄにおける各路面勾配をどのように決定するかを説明する。
先ず、図１９（ａ）に示すように、３ΔＴ秒前には、静止物ｂ及び特定領域Ａが存在する。そして、現在では、図１９（ｂ）に示すように、３ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ａ））に特定した特定領域Ａが所定距離だけ車両側に近づいていることが特定される。
【００４７】
同様に、図１９（ｃ）に示すように、２ΔＴ秒前には、静止物ｂ及び特定領域Ｂが存在する。そして、現在では、図１９（ｄ）に示すように、２ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｃ））に特定した特定領域Ｂが所定距離だけ車両側に近づいていることが特定される。
【００４８】
同様に、図１９（ｅ）に示すように、ΔＴ秒前には、静止物ｂ及び特定領域Ｃが存在する。そして、現在では、図１９（ｆ）に示すように、ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｅ））に特定した特定領域ｃが所定距離だけ車両側に近づいていることが特定される。
そして、現在では、図１９（ｇ）に示すように、特定領域Ｄが存在する。
【００４９】
これらのことから、図１９（ｈ）に示すように、３ΔＴ秒前に勾配が決定された領域Ａ、２ΔＴ秒前に勾配が決定された領域Ｂ、ΔＴ秒前に勾配が決定された領域Ｃ、及び、現在の領域Ｄが、結合された状態として得られる。それぞれの領域Ａ〜Ｄの勾配は、それぞれ、３ΔＴ秒前、２ΔＴ秒前、ΔＴ秒前及び現在で特定されているので、車両の進行方向の広い領域の道路状態（勾配など）を把握することが出来るのである。例えば、図２０に示すように、３ΔＴ秒前に特定されたＰ１１及びＰ１２、２ΔＴ秒前に特定されたＰ２１及びＰ２２、ΔＴ秒前に特定されたＰ３１及びＰ３２、現在、特定領域として特定されたＰ４１及びＰ４２により、それぞれ、直線Ｌ１、Ｌ２、Ｌ３、Ｌ４が決定され、それらの直線と、交点Ｓ１、Ｓ２、Ｓ３とにより、路面勾配が求められる。
【００５０】
次に、図２１乃至図２３により、ＥＣＵによる処理内容をブロック図により説明する。図２１は、本発明の第３実施形態による車両用走行路面検出装置における処理内容を示すブロック図であり、図２２は、オプティカルフロー処理の内容を示す概念図であり、図２３は、位置補正の処理内容を示すフローチャートである。
図２１に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、ΔＴ毎に、画像記憶部（右）２２０及び画像記憶部（左）２２２で記憶する。路面領域判定部２２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
【００５１】
次に、画像処理領域（特定領域、特定平面）設定部２２６では、路面の車両からの距離ｄ及び高さｈを検出する特定領域を数十ｍ前方側に設定する。次に、白線検出部２２８において、画像処理領域設定部２２６で設定された特定領域で、ステレオカメラ４で得られた画像から路面上の白線を１つ検出する。次に、対応点探索部２３０では、白線検出部２２８で検出された白線について、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
【００５２】
次に、距離高さ算出部２３２では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２３０により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
白線勾配及び静止物位置算出部２３４では、距離高さ算出部２３２で算出された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）から、白線の勾配及び静止物ｂとの相対距離を算出する。この白線勾配及び静止物位置算出部２３４で算出された特定領域の勾配及び車両と静止物ｂとの相対距離は、特定領域勾配記憶部２３６に、ΔＴ毎に記憶される。
【００５３】
一方、特定領域の移動量（例えば、図１９（ｂ）、（ｄ）、（ｆ）参照）を正確に算出するために、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２での処理を行う。
具体的には、静止物検出部（オプティカルフロー処理部）２４０では、図２２に示すように、Ｔにおける画像と、Ｔ＋ΔＴにおける画像とをマッチング処理し、静止物ｂの移動ベクトルを算出する。
【００５４】
そして、位置補正部２４２では、図２３に示すように、先ず、Ｓ３１において静止物ｂの位置変化（オプティカルフローにより得られる移動ベクトル）により自車両の移動量を算出し、次に、Ｓ３２において、自車両の移動量により、前フレーム画像（例えば、図１９（ａ））が、今フレーム画像（例えば、図１９（ｂ））で表される領域を算出する。次に、Ｓ３３において、マッチング処理により前フレーム画像と今フレーム画像との位置を特定する。
【００５５】
次に、各白線の連結処理部２４４では、図２０に示すような、各直線Ｌ１、Ｌ２、Ｌ３、Ｌ４を各交点Ｓ１、Ｓ２、Ｓ３で結ぶ連結処理を行う。
次に、走行路面勾配検出部２４６では、白線勾配及び静止物位置算出部２３４から得られる現在の特定平面の勾配（例えば、図１９（ｇ））の情報と、特定領域勾配記憶部２３６に記憶された過去の特定平面（例えば、図１９（ａ）、（ｃ）、（ｅ））の情報を位置補正部２４２により移動量が補正された情報（例えば、図１９（ｂ）、（ｄ）、（ｆ））により、図１９（ｈ）で示すような、車両前方の広い領域の道路状態（距離ｄ、傾きｎ）を検出するようになっている。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００５６】
次に、図２４により、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図２４は、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図２４に示すように、Ｓ４１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ４２において、ステレオカメラ４により撮像されたデータが画像記憶部２２０、２２２に記憶される。次に、Ｓ４３において、路面領域判定部２２４により、走行路面となる対象領域が抽出され、さらに、Ｓ４４において、画像処理領域設定部２２６で画像処理する特定領域を設定する。この特定領域は、車速に応じて、例えば、高速時には遠方に設定し、低速時には近方に設定するようにしても良い。また、特定領域の広さを遠方時には小さく、近方時には広くするようにしても良い。
【００５７】
次に、Ｓ４５において、静止物検出部（オプティカルフロー処理部）３４により、静止物ｂの抽出及びオプティカルフローによる移動ベクトルの算出が行われる。次に、Ｓ４６において、白線検出部２２８により白線が検出され、Ｓ４７で、白線勾配及び静止物位置算出部２３４により、特定領域の車両からの距離ｄ及び高さｈが検出されると共に、特定領域勾配記憶部２３６に記憶される。
【００５８】
次に、Ｓ４８において、特定領域勾配記憶部２３６に記憶された、各時刻Ｔｉ−１、Ｔｉ−２、Ｔ０における特定領域勾配を読み込む。次に、Ｓ４９において、Ｓ４８で読み込まれた勾配を、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２により処理された静止物ｂの移動量（自車両との相対距離（（ｘｉ、ｙｉ））で表される）により、補正する。
【００５９】
次に、Ｓ５０において、Ｓ４８及びＳ４９の処理で得られたデータにより、路面勾配（例えば、図１９（ｈ））を算出する。次に、Ｓ５１において、特定領域の平面Ａの時刻Ｔｉでの勾配（位置ｄｉ、ｎｉ）及び静止物ｂとの相対距離（ｘｉ、ｙｉ）を、特定領域勾配記憶部３２に記憶させる。次に、Ｓ５２において、ｉ＝ｉ＋１として次の処理に進む。
【００６０】
以上、本発明の第１乃至第３実施形態によれば、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出するために、走行路面を撮像するステレオカメラ４により撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定する。このように、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。
【００６１】
また、本発明の第１乃至第３実施形態によれば、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。さらに、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。
【００６２】
また、本発明の第１乃至第３実施形態によれば、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００６３】
また、本発明の第２実施形態によれば、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
【００６４】
また、本発明の第３実施形態によれば、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定するので、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。
【００６５】
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定されるので、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。
【図面の簡単な説明】
【００６６】
【図１】、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両の概念図である。
【図２】ＥＣＵの対応点検出部による対応点探索に用いられるＡrea-based matching手法の説明図である。
【図３】ＥＣＵの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像であり（ａ）、左側カメラ画像に対して、ＥＣＵの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図（ｂ）である。
【図４】ＥＣＵの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のｙ座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図である。
【図５】ＥＣＵの路面判定部にて求められる対応点の分布を示す分布図であって、図４の下限ラインに対して所定距離隔てたＰＬ線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。
【図６】本発明の第１実施形態による車両と車両の進行方向の路面上のテクスチャを示す概念図である。
【図７】本発明の第１実施形態による車両から見える路面、テクスチャ及び各テクスチャに設定された２点の位置を示す概念図である。
【図８】本発明の第１実施形態の路面検出装置により得られた各テクスチャによる路面の直線及び交点を示す図である。
【図９】本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１０】本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。
【図１１】本発明の第１実施形態の白線による路面傾斜算出内容を示すフローチャートである。
【図１２】本発明の第２実施形態による車両と車両の進行方向の路面上のテクスチャと路面の各分割領域を示す概念図である。
【図１３】本発明の第２実施形態による車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の各分割領域を示す図である。
【図１４】本発明の第２実施形態の路面検出装置により得られた各分割領域における路面の直線及び交点を示す図である。
【図１５】本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１６】本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。
【図１７】本発明の第３実施形態における車両の進行方向の前方に設定した画像処理を行う特定領域及びテクスチャを示す概念図である。
【図１８】本発明の第３実施形態における車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の特定領域を示す図である。
【図１９】本発明の第３実施形態におけるそれぞれ所定時間前において勾配が決定された特定領域の位置（ａ、ｃ、ｅ）と、それらの過去の特定領域の位置が現在の位置に補正された位置（ｂ、ｄ、ｆ）と、現在における特定領域の位置（ｇ）とを示す概念図である。
【図２０】本発明の第３実施形態の路面検出装置により得られた特定領域及び過去の特定領域で算出された勾配を結合して得られる路面の直線及び交点を示す図である。
【図２１】本発明の第３実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図２２】本発明の第３実施形態によるオプティカルフロー処理の内容を示す概念図である。
【図２３】本発明の第３実施形態による位置補正の処理内容を示すフローチャートである。
【図２４】本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。
【符号の説明】
【００６７】
１ 車両
４ ステレオカメラ
６ ＥＣＵ
【特許請求の範囲】
【請求項１】
走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、
上記複数のテクスチャのそれぞれの２点の位置から、上記複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。
【請求項２】
上記２点の位置は、車両からの距離及び車両からの高さで表される請求項１に記載の車両用走行路面検出装置。
【請求項３】
上記テクスチャは白線である請求項１又は請求項２に記載の車両用走行路面検出装置。
【請求項４】
上記テクスチャは複数存在し、
上記路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する請求項１乃至３に記載の車両用走行路面検出装置。
【請求項５】
さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、
上記テクスチャは、上記分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、
上記路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する請求項１乃至４のいずれか１項に記載の車両用走行路面検出装置。
【請求項６】
さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定する特定領域設定手段と、
この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、
上記特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を上記所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、
を有する請求項１乃至４に記載の車両用走行路面検出装置。
【請求項７】
上記車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定される請求項６に記載の車両用走行路面検出装置。
【請求項１】
走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、
上記複数のテクスチャのそれぞれの２点の位置から、上記複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。
【請求項２】
上記２点の位置は、車両からの距離及び車両からの高さで表される請求項１に記載の車両用走行路面検出装置。
【請求項３】
上記テクスチャは白線である請求項１又は請求項２に記載の車両用走行路面検出装置。
【請求項４】
上記テクスチャは複数存在し、
上記路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する請求項１乃至３に記載の車両用走行路面検出装置。
【請求項５】
さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、
上記テクスチャは、上記分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、
上記路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する請求項１乃至４のいずれか１項に記載の車両用走行路面検出装置。
【請求項６】
さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定する特定領域設定手段と、
この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、
上記特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を上記所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、
を有する請求項１乃至４に記載の車両用走行路面検出装置。
【請求項７】
上記車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定される請求項６に記載の車両用走行路面検出装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図３】
【公開番号】特開２００９−１３９３２５（Ｐ２００９−１３９３２５Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１８５６８（Ｐ２００７−３１８５６８）
【出願日】平成１９年１２月１０日（２００７．１２．１０）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月１０日（２００７．１２．１０）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]