車両用走行路面検出装置
【課題】簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供する。
【解決手段】本発明による車両用走行路面検出装置は、路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、第１撮像手段と、第２撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、を有する。
【解決手段】本発明による車両用走行路面検出装置は、路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、第１撮像手段と、第２撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。
【背景技術】
【０００２】
従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
【０００３】
【特許文献１】特開２００６−０５３７５４号公報
【特許文献２】特開平０９−３２５０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。
【０００５】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、路面分割手段により撮像される路面画像の路面を複数の平面に分割し、これらの分割された平面のうちいずれかを特定平面として特定し、特定平面定数算出手段により第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出し、そして、隣接平面定数推定手段により、この特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定している。このように、撮像された路面を複数に分割したうちの一つについて特定平面定数算出手段により平面定数（例えば、車両からの距離や路面の傾き）が算出され、他の隣接する面は、この算出した平面定数を基に境界部の勾配変化を考慮して算出している。ここで、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する方法（特定平面定数算出手段）は、ＥＣＵ（コンピュータ）による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい特定平面定数算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数は、処理負担が小さい隣接平面定数推定手段により得られる勾配変化から算出している。そして、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定するようにしている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので路面（例えば、路面の距離と傾斜）を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。
【０００８】
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を車両進行方向の縦方向に分割する。
このように構成された本発明においては、車両進行方向の路面を簡易且つ正確に検出することが出来る。
【０００９】
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を路面の横断方向に分割する。
このように構成された本発明においては、路面横断方向の路面を簡易且つ正確に検出することが出来る。
【００１０】
また、本発明において、好ましくは、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される。
このように構成された本発明においては、路面の車両からの距離及び傾斜の度合いを正確に検出することが出来る。
【００１１】
また、本発明において、好ましくは、隣接平面定数算出手段は、特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する。
このように構成された本発明においては、隣接平面の路面の車両からの距離及び傾斜の度合いを距離ｄ、傾きｎ及び勾配変化δにより正確に検出することが出来る。
【００１２】
また、本発明において、好ましくは、特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の平面定数は互いに同じものとする。
このように構成された本発明においては、路面の横断方向の傾斜が小さい場合に、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じになるようにしているので、処理負担を軽減することが出来る。
【００１３】
また、本発明において、好ましくは、隣接平面定数算出手段により隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次隣接平面定数算出手段による特定平面の算出を行う。
このように構成された本発明においては、隣接平面定数算出手段による隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。
【発明の効果】
【００１４】
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の実施形態による車両用走行路面検出装置が適用される車両、道路領域検出処理の基本的なフロー、処理画像の例及び道路領域検出処理内容について説明する。図１は、本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートであり、図３は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図であり、図４は、射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。以下、Ｓは各ステップを示す。
【００１６】
本発明の実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を複数の領域に分割し、そのうちの１つの面の距離及び傾きを求めた後、その情報を基に、その面に隣接する面とのつなぎ目部の勾配変化などから、隣接する面の距離及び傾きを順々に算出するものである。
【００１７】
先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。
図２に示すように、道路領域検出処理においては、Ｓ１において、ステレオカメラ４によりステレオ画像を取得する。得られた画像のうち、一方の画像を基準画像（図３（ａ））とし、他方の画像を参照画像（図３（ｂ））とする。
次に、図２のＳ２おいて、ＥＣＵ６は、前処理として、これらの基準画像及び参照画像を取り込み、両画像の輝度を一致させるためにＬＯＧフィルタなどを用いてコントラスト調整を行う。
【００１８】
次に、図２のＳ３に示すように、参照画像（図３（ｂ））を基準画像（図３（ａ））の視点から見た画像に後述する(1)射影変換行列算出を用いて視点変換を行う。この処理では、道路平面に対する射影変換行列を動的に推定し、参照画像（図３（ｂ））を射影変換して図３（ｃ）に示すような射影変換画像を得る。このように得られた射影変換画像によれば、参照画像に含まれる高さのある物体が射影変換によって傾くことから、射影変換後の参照画像（図３（ｃ））と基準画像（図３（ａ））との間で差分を求めることで、高さのない道路平面部分を抽出することが出来る。
【００１９】
即ち、先ず、図２のＳ４において、図３（ｄ）に示すように、基準画像（図３（ａ））と射影変換後の参照画像（図３（ｃ））の輝度値における差分画像を作成し、次に、図３（ｅ）で黒く示される部分のように、輝度差がしきい値以下となる領域を求める。そして、図２のＳ５において、図３（ｆ）に示すように、グレーで示すような道路領域における(2)道路平面の姿勢を算出することが出来る。
これらの処理は、後述するように、路面を複数の分割領域に分けたそれぞれの特定平面について行うことが出来る。
【００２０】
次に、本発明の実施形態による車両用走行路面検出装置において行われる、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理についてより詳細に説明する。
１． (1)射影変換行列算出（図２のＳ３）
（１）射影変換行列算出式
参照画像Ｉr を射影変換行列Hで変換した画像と基準画像Ｉb に対して、平面領域推定範囲内
での輝度差の2乗を評価関数e(H)として、これを最小にする射影変換行列
を求める。算出式は以下のようになる。
ただし、
は画像iの同次座標で表した位置
での輝度値、Hは画像間の平面部に対応した射影変換行列とする。
【００２１】
（２）射影変換行列算出方法
式(1)を満たす射影変換行列を探索により求める。処理手順は以下のようになる。
（ａ）前時刻に推定した射影変換行列が存在する場合は、それを初期値とする。平面抽出処理のスタート時は前時刻の射影変換行列が存在しないため、水平な道路に停車した状態で撮影した画像から道路平面内の図４に示すような対応点（例えば、路面上で特定の輝度を有する白線、路面上の標識、マンホールなど）を設定し最小2乗法を用いて求めた射影変換行列Ｈ0 を初期値とする。
【００２２】
（ｂ）ステレオカメラ画像から射影変換行列を計算する。次に、射影変換行列は式(2)で表される。これを特異値分解して道路平面の法線ベクトルを求め、射影変換行列Ｈ0 から求めた法線ベクトルｎ0 と内積を計算して、ある範囲に収まり且つ平面領域が見つかるときはその射影変換行列は正しいと判断する。それ以外の時は、誤ったローカルミニマムに陥ったとして、次の射影変換行列Ｈ1 を初期値として同様の計算を行う。それでも正しい射影変換行列が見つからない場合は、射影変換行列Ｈ2 を初期値として同様の計算を行う。ただし、射影変換行列Ｈ1 、Ｈ2 は、射影変換行列Ｈ0 の平面法線ベクトルｎ0 をピッチ方向前後に4°傾けた法線ベクトルｎ1、ｎ2 と射影変換行列Ｈ0 より求めたR、t、dを用いて式(2)より求めたものである。
ただし、ステレオカメラ間の回転行列をR、ベースラインベクトルをt、平面法線ベクトルをｎ、カメラと平面間距離をd、基準カメラと参照カメラの内部パラメータをＡ1、Ａ2 、定数項をkとする。定数項（k≠0）は、画像が得られた射影変換行列には定数倍の自由度が存在することを示す。
【００２３】
（ｃ）すべての射影変換行列（Ｈ0、Ｈ1、Ｈ2）を用いても正しい射影変換行列が求まらない場合は、その画像中に平面は存在しないと見なし、射影変換行列と計算領域をリセットし、ここで処理を終え、次の処理へと進む。
【００２４】
２． (2)道路平面の姿勢算出（図３のＳ５）
ステレオ画像間の平面に対する射影変換行列から、特異値分解を用いることでステレオカメラに対する平面の向きと位置を算出する。式(2)のカメラ内部パラメータＡ1、Ａ2 が既知であるとすると、式(3)のように射影変換行列Ｈ′を特異値分解できる。
t/d、nは以下の関係式から求めることができる。
ただし、
σ1≠σ2≠σ3 のとき、
（ε1,3＝±1）・・・(5)
ε1,3 を決定するために、2台のカメラが道路面を向いており平面が見えているという条件を加える。すなわち、nと
との内積が正になる。これで、解が2つとなる。次に、それぞれのnについて、求まったtと、実際のカメラ配置の大まかな並進ベクトルである
との内積を計算し、1に近いほうのtをnの解とする。
【００２５】
次に、dは得られたt/dの絶対値とカメラ間のベースライン長|t|から次の式より求めることができる。
以上のようにして、特定平面の平面定数として、車両１から特定平面までの距離ｄ及び特定平面の姿勢（傾き／法線ベクトル）ｎを求めることが出来る。
【００２６】
次に、図５乃至図７により、所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出方法を説明する。図５は、所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図であり、図６は、所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図であり、図７は、位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。
この特定平面どうしのつなぎ目部の勾配変化は、或る２つの特定平面の互いの境界部において、ステレオ視の原理より算出した距離情報（距離画像）から、以下に示す方法を用いて２つの特定平面の勾配変動を算出するものである。
【００２７】
１．距離画像作成
先ず、ステレオカメラ４から得られる左右のカメラ画像の中で、特定平面データ検出処理（特定平面における、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理）により検出した少なくとも２つの所定の平面での互いのつなぎ目部の領域に対して、図５に示すような左右画像間での対応点をマッチング探索により検出し、そこから得られる視差（＝ｘ１−ｘ２）から、ステレオ視の原理より距離を算出する。それを画像として表したものを距離画像とする。
【００２８】
２．つなぎ目部勾配変化（δ１）の算出
先ず、上述したように算出した距離画像に対して、所定の２つの平面でのつなぎ目部を含む特定の位置（例えば、図６の位置ｘ）における高さの変化である距離画像縦断面図を図７（ａ）のように作成する。この距離画像縦断面図での所定の２つの平面でのつなぎ目部に対応する距離データ／高さデータ（図７（ｂ））から、最小２乗近似などの方法により、つなぎ目部の手前の平面に対する直線Ｌ１と、つなぎ目部の向こう側の平面に対応する直線Ｌ２を算出し、それらの２つの直線Ｌ１及びＬ２のなす角度δ１を所定の２つの平面での平面つなぎ目部勾配変化として算出する。
【００２９】
次に、図８乃至図１１により、本発明の実施形態による車両用走行路面検出装置の処理の概念を説明する。
図８は、車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図であり、図９は、図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図であり、図１０は、車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【００３０】
先ず、図８に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に２分割し且つ縦方向（車両進行方向）に複数に分割する。次に、図９に示すように、先ず、この場合は一番手前の左側の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。
【００３１】
次に、一番手前の右側の領域を隣接領域（隣接平面）Ａ２１として決定し、このとき領域Ａ１１とＡ２１とのつなぎ目部の勾配変化δ１１を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１１）の両方を用いて、隣接領域Ａ２１の平面定数（距離ｄ２１、傾き（法線ベクトル）ｎ２１）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１１を足して、傾きｎ２１とし、距離ｄ２１は、距離ｄ１１と同じとする。
【００３２】
同様に、手前から２番目の左側の領域を隣接領域Ａ１２として決定し、このとき特定領域Ａ１１と隣接領域Ａ１２とのつなぎ目部の勾配変化δ１２を上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。
【００３３】
以下、同様に、例えば、隣接領域Ａ２２は、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ２２）の両方を用いて、隣接領域Ａ２２の平面定数（距離ｄ２２、傾き（法線ベクトル）ｎ２２）を推定する。
【００３４】
他の実施例として、図１０に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に分割せず且つ縦方向（車両進行方向）に複数に分割する。次に、図１１に示すように、先ず、この場合は一番手前の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。
次に、２番目の領域を隣接領域（隣接平面）Ａ１２として決定し、このとき領域Ａ１１とＡ１２とのつなぎ目部の勾配変化δ１２を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。
【００３５】
同様に、３番目の領域Ａ１３についても、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ１３）の両方を用いて、隣接領域Ａ１３の平面定数（距離ｄ１３、傾き（法線ベクトル）ｎ１３）を推定する。より詳細には、特定領域Ａ１２の傾きｎ１２に勾配変化δ１３を足して、傾きｎ１３とし、距離ｄ１３は、距離ｄ１２に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。以降、図示するように、Ｓ１４以降も同様に推定する。
【００３６】
次に、図１２により、ＥＣＵによる処理内容をブロック図により説明する。図１２は、本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１２に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２４では、上述した車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理により射影変換を用いて判定する。なお、この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定しても良い。
【００３７】
次に、路面分割処理部２６においては、予め所定の基準で分割の仕方を定めた路面分割データ２８のデータを基に、路面領域判定部２４で判定された路面を分割する。例えば、上述した図８や図１０のように分割する。
次に、画像処理領域（特定領域、特定平面）設定部２８では、路面分割処理部２６において分割された領域のうち、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により算出する領域を設定する。
一方、推定領域（隣接領域、隣接平面）設定部３０では、路面分割処理部２６において分割された領域のうち、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により算出された勾配変化（δ）と、基準となる或る領域（特定領域、或いは、推定領域）の平面定数（距離ｄ、傾き（法線ベクトル）ｎ）とにより推定する領域を推定領域として設定する。
【００３８】
次に、特定平面内対応点探索３２では、左右のカメラ６のそれぞれの撮像画面における路面領域（路面領域判定部２４で判定された路面）の互いの対応点を探索する。対応点とは、特定の輝度を有する部分であり、白線、路面上の標識、マンホールなどである（図４参照）。これらの対応点により射影変換を行うことが出来る。
【００３９】
次に、特定平面平面定数算出部３４では、路面分割処理部２６で分割された路面のうちの一つを特定平面として定め、その特定平面の平面定数である車両からの距離ｄ１、姿勢（傾き）ｎ１を算出する。ここでは、特定平面内対応点探索部３２で設定された対応点の視差角により、距離及び傾きを算出する。より詳細には、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により行われる。
【００４０】
また、特定平面つなぎ目部勾配変化算出部３６では、路面分割処理部２６で分割された路面のうちの一つである特定平面と、次に平面定数を求める隣接平面との間のつなぎ目部の勾配δ１を算出する。この算出は、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により行われる。
【００４１】
そして、隣接平面平面定数算出部３８では、特定平面平面定数算出部３４で算出された距離ｄ１、姿勢ｎ１と、特定平面つなぎ目部勾配変化算出部３６で算出された勾配δ１とにより、上述したように、隣接平面の平面定数（距離ｄ２、姿勢（傾き）ｎ２）を推定する。
【００４２】
次に、隣接平面つなぎ目部勾配変化算出部４０では、推定領域設定部３０で設定された隣接領域と、他の特定平面（画像処理領域（特定領域、特定平面）設定部２８で設定された領域、或いは、推定領域（隣接領域、隣接平面）設定部３０で設定された他の領域）との間のつなぎ目部の勾配変化δ２を算出する。
そして、次隣接平面平面定数推定部４２では、隣接平面平面定数算出部３８で算出された距離ｄ２、姿勢ｎ２と、隣接平面つなぎ目部勾配変化算出部４０で算出された勾配δ２とにより、上述したように、隣接平面の平面定数（距離ｄ３、姿勢（傾き）ｎ３）を推定する。
【００４３】
以下、次隣接平面平面定数推定部４４・・・ｎも同様の処理を行う。そして、走行路面勾配検出部４６では、特定平面平面定数算出部により算出された平面定数（距離ｄ１、傾きｎ２）と、複数の隣接平面平面定数算出部３８、４２、４４、・・・Ｎにより推定された平面定数（距離ｄ２〜ｄＮ、傾きｎ２〜ｎＮ）とにより、走行路面の距離及び傾きの情報から路面勾配を検出する。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００４４】
次に、図１３により、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１３は、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図１３に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出され、さらに、画像処理領域設定部２８で画像処理する特定領域を設定する。次に、Ｓ４において、路面分割処理部２６により、走行路面が路面横断方向にＮ個（１、２、３・・・）及び車両進行方向にＭ個（１、２、３・・・）に分割される。ここでは、走行路面が予め決められた大きさ或いは予め決められた数となるように分割される。
【００４５】
次に、Ｓ５において、路面横断方向の分割の数値パラメータｉを１（ｉ＝１）とし、車両進行方向の分割の数値パラメータｊを１（ｊ＝１）とする。
次に、Ｓ６において、特定平面平面定数算出部３４により、特定平面Ａｉ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）が検出されると共に保存される。次に、Ｓ７において、平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さいか否かを判定する。
【００４６】
平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さい場合には、平面Ａｉ、ｊ〜ＡＮ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）のうち、位置ｄ１、ｊ〜ｄＮ、ｊを「ｄ１、ｊ」とし、傾きｎ１、ｊ〜ｎＮ、ｊを「ｎ１、ｊ」とする。即ち、路面の横断方向の傾斜が小さい場合にｉ＝１として、路面横断方向には分割しないようにし、つまり、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じであると捉えるようにしているので、ＥＣＵ６による処理負担を軽減することが出来る。
【００４７】
平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより大きい場合には、Ｓ９乃至Ｓ１２の処理により、路面横断方向の隣接領域の距離ｄ及び傾きｎを検出する。具体的には、Ｓ９において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δｉ、ｊを検出する。次に、Ｓ１０において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａｉ＋１、ｊの平面データ（位置ｄｉ＋１、ｊ、傾きｎｉ＋１、ｊ）を算出して保存する。Ｓ１１では、路面横断方向の分割の数値パラメータｉに１を加え、Ｓ１２により、Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われたか否かを判定する。
【００４８】
Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われた場合、Ｓ１３に進み、路面横断方向の分割の数値パラメータｉを１に戻す。これは、車両進行方向の次の領域において、再び、ｉ＝１〜Ｎまでの平面データを得るためである。
次に、Ｓ１４において、上述したＳ６で保存された特定平面Ａ１、ｊの平面データ（距離ｄ１、ｊ、傾きｎ１、ｊ）を読み出す。
【００４９】
次に、Ｓ１５において、車両進行方向の分割の数値パラメータｊがＭＳであるか否かを判定する。ＭＳは、車両進行方向（縦方向）の分割数Ｍよりも小さい値であり、それ以上の繰り返しの平面データの推定を行うと路面検出の精度が低下するものとして設定された値である。
Ｓ１５において、ｊ＝ＭＳと判定された場合には、Ｓ１６に進み、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」による平面データの推定を行わず、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、平面１、ｊの平面データ（位置ｄ１、ｊ＋１、傾きｎ１、ｊ＋１）を検出すると共に保存する。次に、Ｓ１７において、ＭＳ＋ＭＳをＭＳと設定する。
【００５０】
このようなＳ１５乃至Ｓ１７の処理により、隣接平面定数算出手段（上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」による平面データの推定）による隣接平面の平面定数の算出が数回（ＭＳ回）行われたとき、その次には、再度、特定平面算出手段（上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」）により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。
【００５１】
Ｓ１５において、ｊ＝ＭＳと判定さない場合には、Ｓ１８において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δ１、ｊを検出する。次に、Ｓ１９において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａ１、ｊ＋１の平面データ（位置ｄ１、ｊ＋１、傾き１、ｊ＋１）を算出して保存する。そして、Ｓ２０において、車両進行方向の分割の数値パラメータｊに１を加え（ｊ＝ｊ＋１）、Ｓ２１でｊが、車両進行方向の分割数Ｍより大きいか否かを判定し、以下Ｓ７乃至Ｓ２０の処理を繰り返すことにより、Ｓ４で分割した全ての領域（ｉ＝１〜Ｎ、ｊ＝１〜Ｍ）について、路面データ（平面定数）を算出或いは推定することが出来る。
【００５２】
以上、本発明の実施形態によれば、撮像される路面画像の路面が複数の平面に分割され、これらの分割された平面のうちいずれかが特定平面として特定され、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、そして、この特定平面に隣接する平面の平面定数が特定平面とその隣接平面との境界部の勾配変化から推定されるようになっている。このように、撮像された路面を複数に分割したうちの一つについて平面定数（本実施形態では、車両からの距離及び路面の傾き）、他の隣接する面はこの算出した平面定数を基に境界部の勾配変化を考慮して算出されている。ここで、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出される方法は、ＥＣＵ６による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明の実施形態では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数が、処理負担が小さい手段により得られる勾配変化から算出されている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、ステレオカメラ４のそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので、本発明の実施形態によれば、路面の車両からの距離及び路面の傾斜を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。
【００５３】
また、撮像された路面は、車両進行方向の縦方向に分割されると共に路面の横断方向に分割され、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定されるので、路面の車両からの距離ｄ及び傾きｎを簡易且つ正確に検出することが出来る。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図である。
【図２】本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートである。
【図３】本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図である。
【図４】射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。
【図５】所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図である。
【図６】所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図である。
【図７】位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。
【図８】車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【図９】図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。
【図１０】車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【図１１】図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。
【図１２】本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１３】本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。
【符号の説明】
【００５５】
１ 車両
４ ステレオカメラ
６ ＥＣＵ
【技術分野】
【０００１】
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。
【背景技術】
【０００２】
従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
【０００３】
【特許文献１】特開２００６−０５３７５４号公報
【特許文献２】特開平０９−３２５０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。
【０００５】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。
【０００７】
このように構成された本発明においては、路面分割手段により撮像される路面画像の路面を複数の平面に分割し、これらの分割された平面のうちいずれかを特定平面として特定し、特定平面定数算出手段により第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出し、そして、隣接平面定数推定手段により、この特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定している。このように、撮像された路面を複数に分割したうちの一つについて特定平面定数算出手段により平面定数（例えば、車両からの距離や路面の傾き）が算出され、他の隣接する面は、この算出した平面定数を基に境界部の勾配変化を考慮して算出している。ここで、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する方法（特定平面定数算出手段）は、ＥＣＵ（コンピュータ）による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい特定平面定数算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数は、処理負担が小さい隣接平面定数推定手段により得られる勾配変化から算出している。そして、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定するようにしている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので路面（例えば、路面の距離と傾斜）を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。
【０００８】
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を車両進行方向の縦方向に分割する。
このように構成された本発明においては、車両進行方向の路面を簡易且つ正確に検出することが出来る。
【０００９】
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を路面の横断方向に分割する。
このように構成された本発明においては、路面横断方向の路面を簡易且つ正確に検出することが出来る。
【００１０】
また、本発明において、好ましくは、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される。
このように構成された本発明においては、路面の車両からの距離及び傾斜の度合いを正確に検出することが出来る。
【００１１】
また、本発明において、好ましくは、隣接平面定数算出手段は、特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する。
このように構成された本発明においては、隣接平面の路面の車両からの距離及び傾斜の度合いを距離ｄ、傾きｎ及び勾配変化δにより正確に検出することが出来る。
【００１２】
また、本発明において、好ましくは、特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の平面定数は互いに同じものとする。
このように構成された本発明においては、路面の横断方向の傾斜が小さい場合に、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じになるようにしているので、処理負担を軽減することが出来る。
【００１３】
また、本発明において、好ましくは、隣接平面定数算出手段により隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次隣接平面定数算出手段による特定平面の算出を行う。
このように構成された本発明においては、隣接平面定数算出手段による隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。
【発明の効果】
【００１４】
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の実施形態による車両用走行路面検出装置が適用される車両、道路領域検出処理の基本的なフロー、処理画像の例及び道路領域検出処理内容について説明する。図１は、本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートであり、図３は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図であり、図４は、射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。以下、Ｓは各ステップを示す。
【００１６】
本発明の実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を複数の領域に分割し、そのうちの１つの面の距離及び傾きを求めた後、その情報を基に、その面に隣接する面とのつなぎ目部の勾配変化などから、隣接する面の距離及び傾きを順々に算出するものである。
【００１７】
先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。
図２に示すように、道路領域検出処理においては、Ｓ１において、ステレオカメラ４によりステレオ画像を取得する。得られた画像のうち、一方の画像を基準画像（図３（ａ））とし、他方の画像を参照画像（図３（ｂ））とする。
次に、図２のＳ２おいて、ＥＣＵ６は、前処理として、これらの基準画像及び参照画像を取り込み、両画像の輝度を一致させるためにＬＯＧフィルタなどを用いてコントラスト調整を行う。
【００１８】
次に、図２のＳ３に示すように、参照画像（図３（ｂ））を基準画像（図３（ａ））の視点から見た画像に後述する(1)射影変換行列算出を用いて視点変換を行う。この処理では、道路平面に対する射影変換行列を動的に推定し、参照画像（図３（ｂ））を射影変換して図３（ｃ）に示すような射影変換画像を得る。このように得られた射影変換画像によれば、参照画像に含まれる高さのある物体が射影変換によって傾くことから、射影変換後の参照画像（図３（ｃ））と基準画像（図３（ａ））との間で差分を求めることで、高さのない道路平面部分を抽出することが出来る。
【００１９】
即ち、先ず、図２のＳ４において、図３（ｄ）に示すように、基準画像（図３（ａ））と射影変換後の参照画像（図３（ｃ））の輝度値における差分画像を作成し、次に、図３（ｅ）で黒く示される部分のように、輝度差がしきい値以下となる領域を求める。そして、図２のＳ５において、図３（ｆ）に示すように、グレーで示すような道路領域における(2)道路平面の姿勢を算出することが出来る。
これらの処理は、後述するように、路面を複数の分割領域に分けたそれぞれの特定平面について行うことが出来る。
【００２０】
次に、本発明の実施形態による車両用走行路面検出装置において行われる、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理についてより詳細に説明する。
１． (1)射影変換行列算出（図２のＳ３）
（１）射影変換行列算出式
参照画像Ｉr を射影変換行列Hで変換した画像と基準画像Ｉb に対して、平面領域推定範囲内
での輝度差の2乗を評価関数e(H)として、これを最小にする射影変換行列
を求める。算出式は以下のようになる。
ただし、
は画像iの同次座標で表した位置
での輝度値、Hは画像間の平面部に対応した射影変換行列とする。
【００２１】
（２）射影変換行列算出方法
式(1)を満たす射影変換行列を探索により求める。処理手順は以下のようになる。
（ａ）前時刻に推定した射影変換行列が存在する場合は、それを初期値とする。平面抽出処理のスタート時は前時刻の射影変換行列が存在しないため、水平な道路に停車した状態で撮影した画像から道路平面内の図４に示すような対応点（例えば、路面上で特定の輝度を有する白線、路面上の標識、マンホールなど）を設定し最小2乗法を用いて求めた射影変換行列Ｈ0 を初期値とする。
【００２２】
（ｂ）ステレオカメラ画像から射影変換行列を計算する。次に、射影変換行列は式(2)で表される。これを特異値分解して道路平面の法線ベクトルを求め、射影変換行列Ｈ0 から求めた法線ベクトルｎ0 と内積を計算して、ある範囲に収まり且つ平面領域が見つかるときはその射影変換行列は正しいと判断する。それ以外の時は、誤ったローカルミニマムに陥ったとして、次の射影変換行列Ｈ1 を初期値として同様の計算を行う。それでも正しい射影変換行列が見つからない場合は、射影変換行列Ｈ2 を初期値として同様の計算を行う。ただし、射影変換行列Ｈ1 、Ｈ2 は、射影変換行列Ｈ0 の平面法線ベクトルｎ0 をピッチ方向前後に4°傾けた法線ベクトルｎ1、ｎ2 と射影変換行列Ｈ0 より求めたR、t、dを用いて式(2)より求めたものである。
ただし、ステレオカメラ間の回転行列をR、ベースラインベクトルをt、平面法線ベクトルをｎ、カメラと平面間距離をd、基準カメラと参照カメラの内部パラメータをＡ1、Ａ2 、定数項をkとする。定数項（k≠0）は、画像が得られた射影変換行列には定数倍の自由度が存在することを示す。
【００２３】
（ｃ）すべての射影変換行列（Ｈ0、Ｈ1、Ｈ2）を用いても正しい射影変換行列が求まらない場合は、その画像中に平面は存在しないと見なし、射影変換行列と計算領域をリセットし、ここで処理を終え、次の処理へと進む。
【００２４】
２． (2)道路平面の姿勢算出（図３のＳ５）
ステレオ画像間の平面に対する射影変換行列から、特異値分解を用いることでステレオカメラに対する平面の向きと位置を算出する。式(2)のカメラ内部パラメータＡ1、Ａ2 が既知であるとすると、式(3)のように射影変換行列Ｈ′を特異値分解できる。
t/d、nは以下の関係式から求めることができる。
ただし、
σ1≠σ2≠σ3 のとき、
（ε1,3＝±1）・・・(5)
ε1,3 を決定するために、2台のカメラが道路面を向いており平面が見えているという条件を加える。すなわち、nと
との内積が正になる。これで、解が2つとなる。次に、それぞれのnについて、求まったtと、実際のカメラ配置の大まかな並進ベクトルである
との内積を計算し、1に近いほうのtをnの解とする。
【００２５】
次に、dは得られたt/dの絶対値とカメラ間のベースライン長|t|から次の式より求めることができる。
以上のようにして、特定平面の平面定数として、車両１から特定平面までの距離ｄ及び特定平面の姿勢（傾き／法線ベクトル）ｎを求めることが出来る。
【００２６】
次に、図５乃至図７により、所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出方法を説明する。図５は、所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図であり、図６は、所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図であり、図７は、位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。
この特定平面どうしのつなぎ目部の勾配変化は、或る２つの特定平面の互いの境界部において、ステレオ視の原理より算出した距離情報（距離画像）から、以下に示す方法を用いて２つの特定平面の勾配変動を算出するものである。
【００２７】
１．距離画像作成
先ず、ステレオカメラ４から得られる左右のカメラ画像の中で、特定平面データ検出処理（特定平面における、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理）により検出した少なくとも２つの所定の平面での互いのつなぎ目部の領域に対して、図５に示すような左右画像間での対応点をマッチング探索により検出し、そこから得られる視差（＝ｘ１−ｘ２）から、ステレオ視の原理より距離を算出する。それを画像として表したものを距離画像とする。
【００２８】
２．つなぎ目部勾配変化（δ１）の算出
先ず、上述したように算出した距離画像に対して、所定の２つの平面でのつなぎ目部を含む特定の位置（例えば、図６の位置ｘ）における高さの変化である距離画像縦断面図を図７（ａ）のように作成する。この距離画像縦断面図での所定の２つの平面でのつなぎ目部に対応する距離データ／高さデータ（図７（ｂ））から、最小２乗近似などの方法により、つなぎ目部の手前の平面に対する直線Ｌ１と、つなぎ目部の向こう側の平面に対応する直線Ｌ２を算出し、それらの２つの直線Ｌ１及びＬ２のなす角度δ１を所定の２つの平面での平面つなぎ目部勾配変化として算出する。
【００２９】
次に、図８乃至図１１により、本発明の実施形態による車両用走行路面検出装置の処理の概念を説明する。
図８は、車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図であり、図９は、図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図であり、図１０は、車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【００３０】
先ず、図８に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に２分割し且つ縦方向（車両進行方向）に複数に分割する。次に、図９に示すように、先ず、この場合は一番手前の左側の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。
【００３１】
次に、一番手前の右側の領域を隣接領域（隣接平面）Ａ２１として決定し、このとき領域Ａ１１とＡ２１とのつなぎ目部の勾配変化δ１１を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１１）の両方を用いて、隣接領域Ａ２１の平面定数（距離ｄ２１、傾き（法線ベクトル）ｎ２１）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１１を足して、傾きｎ２１とし、距離ｄ２１は、距離ｄ１１と同じとする。
【００３２】
同様に、手前から２番目の左側の領域を隣接領域Ａ１２として決定し、このとき特定領域Ａ１１と隣接領域Ａ１２とのつなぎ目部の勾配変化δ１２を上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。
【００３３】
以下、同様に、例えば、隣接領域Ａ２２は、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ２２）の両方を用いて、隣接領域Ａ２２の平面定数（距離ｄ２２、傾き（法線ベクトル）ｎ２２）を推定する。
【００３４】
他の実施例として、図１０に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に分割せず且つ縦方向（車両進行方向）に複数に分割する。次に、図１１に示すように、先ず、この場合は一番手前の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。
次に、２番目の領域を隣接領域（隣接平面）Ａ１２として決定し、このとき領域Ａ１１とＡ１２とのつなぎ目部の勾配変化δ１２を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。
【００３５】
同様に、３番目の領域Ａ１３についても、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ１３）の両方を用いて、隣接領域Ａ１３の平面定数（距離ｄ１３、傾き（法線ベクトル）ｎ１３）を推定する。より詳細には、特定領域Ａ１２の傾きｎ１２に勾配変化δ１３を足して、傾きｎ１３とし、距離ｄ１３は、距離ｄ１２に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。以降、図示するように、Ｓ１４以降も同様に推定する。
【００３６】
次に、図１２により、ＥＣＵによる処理内容をブロック図により説明する。図１２は、本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１２に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２４では、上述した車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理により射影変換を用いて判定する。なお、この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定しても良い。
【００３７】
次に、路面分割処理部２６においては、予め所定の基準で分割の仕方を定めた路面分割データ２８のデータを基に、路面領域判定部２４で判定された路面を分割する。例えば、上述した図８や図１０のように分割する。
次に、画像処理領域（特定領域、特定平面）設定部２８では、路面分割処理部２６において分割された領域のうち、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により算出する領域を設定する。
一方、推定領域（隣接領域、隣接平面）設定部３０では、路面分割処理部２６において分割された領域のうち、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により算出された勾配変化（δ）と、基準となる或る領域（特定領域、或いは、推定領域）の平面定数（距離ｄ、傾き（法線ベクトル）ｎ）とにより推定する領域を推定領域として設定する。
【００３８】
次に、特定平面内対応点探索３２では、左右のカメラ６のそれぞれの撮像画面における路面領域（路面領域判定部２４で判定された路面）の互いの対応点を探索する。対応点とは、特定の輝度を有する部分であり、白線、路面上の標識、マンホールなどである（図４参照）。これらの対応点により射影変換を行うことが出来る。
【００３９】
次に、特定平面平面定数算出部３４では、路面分割処理部２６で分割された路面のうちの一つを特定平面として定め、その特定平面の平面定数である車両からの距離ｄ１、姿勢（傾き）ｎ１を算出する。ここでは、特定平面内対応点探索部３２で設定された対応点の視差角により、距離及び傾きを算出する。より詳細には、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により行われる。
【００４０】
また、特定平面つなぎ目部勾配変化算出部３６では、路面分割処理部２６で分割された路面のうちの一つである特定平面と、次に平面定数を求める隣接平面との間のつなぎ目部の勾配δ１を算出する。この算出は、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により行われる。
【００４１】
そして、隣接平面平面定数算出部３８では、特定平面平面定数算出部３４で算出された距離ｄ１、姿勢ｎ１と、特定平面つなぎ目部勾配変化算出部３６で算出された勾配δ１とにより、上述したように、隣接平面の平面定数（距離ｄ２、姿勢（傾き）ｎ２）を推定する。
【００４２】
次に、隣接平面つなぎ目部勾配変化算出部４０では、推定領域設定部３０で設定された隣接領域と、他の特定平面（画像処理領域（特定領域、特定平面）設定部２８で設定された領域、或いは、推定領域（隣接領域、隣接平面）設定部３０で設定された他の領域）との間のつなぎ目部の勾配変化δ２を算出する。
そして、次隣接平面平面定数推定部４２では、隣接平面平面定数算出部３８で算出された距離ｄ２、姿勢ｎ２と、隣接平面つなぎ目部勾配変化算出部４０で算出された勾配δ２とにより、上述したように、隣接平面の平面定数（距離ｄ３、姿勢（傾き）ｎ３）を推定する。
【００４３】
以下、次隣接平面平面定数推定部４４・・・ｎも同様の処理を行う。そして、走行路面勾配検出部４６では、特定平面平面定数算出部により算出された平面定数（距離ｄ１、傾きｎ２）と、複数の隣接平面平面定数算出部３８、４２、４４、・・・Ｎにより推定された平面定数（距離ｄ２〜ｄＮ、傾きｎ２〜ｎＮ）とにより、走行路面の距離及び傾きの情報から路面勾配を検出する。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
【００４４】
次に、図１３により、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１３は、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図１３に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出され、さらに、画像処理領域設定部２８で画像処理する特定領域を設定する。次に、Ｓ４において、路面分割処理部２６により、走行路面が路面横断方向にＮ個（１、２、３・・・）及び車両進行方向にＭ個（１、２、３・・・）に分割される。ここでは、走行路面が予め決められた大きさ或いは予め決められた数となるように分割される。
【００４５】
次に、Ｓ５において、路面横断方向の分割の数値パラメータｉを１（ｉ＝１）とし、車両進行方向の分割の数値パラメータｊを１（ｊ＝１）とする。
次に、Ｓ６において、特定平面平面定数算出部３４により、特定平面Ａｉ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）が検出されると共に保存される。次に、Ｓ７において、平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さいか否かを判定する。
【００４６】
平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さい場合には、平面Ａｉ、ｊ〜ＡＮ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）のうち、位置ｄ１、ｊ〜ｄＮ、ｊを「ｄ１、ｊ」とし、傾きｎ１、ｊ〜ｎＮ、ｊを「ｎ１、ｊ」とする。即ち、路面の横断方向の傾斜が小さい場合にｉ＝１として、路面横断方向には分割しないようにし、つまり、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じであると捉えるようにしているので、ＥＣＵ６による処理負担を軽減することが出来る。
【００４７】
平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより大きい場合には、Ｓ９乃至Ｓ１２の処理により、路面横断方向の隣接領域の距離ｄ及び傾きｎを検出する。具体的には、Ｓ９において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δｉ、ｊを検出する。次に、Ｓ１０において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａｉ＋１、ｊの平面データ（位置ｄｉ＋１、ｊ、傾きｎｉ＋１、ｊ）を算出して保存する。Ｓ１１では、路面横断方向の分割の数値パラメータｉに１を加え、Ｓ１２により、Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われたか否かを判定する。
【００４８】
Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われた場合、Ｓ１３に進み、路面横断方向の分割の数値パラメータｉを１に戻す。これは、車両進行方向の次の領域において、再び、ｉ＝１〜Ｎまでの平面データを得るためである。
次に、Ｓ１４において、上述したＳ６で保存された特定平面Ａ１、ｊの平面データ（距離ｄ１、ｊ、傾きｎ１、ｊ）を読み出す。
【００４９】
次に、Ｓ１５において、車両進行方向の分割の数値パラメータｊがＭＳであるか否かを判定する。ＭＳは、車両進行方向（縦方向）の分割数Ｍよりも小さい値であり、それ以上の繰り返しの平面データの推定を行うと路面検出の精度が低下するものとして設定された値である。
Ｓ１５において、ｊ＝ＭＳと判定された場合には、Ｓ１６に進み、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」による平面データの推定を行わず、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、平面１、ｊの平面データ（位置ｄ１、ｊ＋１、傾きｎ１、ｊ＋１）を検出すると共に保存する。次に、Ｓ１７において、ＭＳ＋ＭＳをＭＳと設定する。
【００５０】
このようなＳ１５乃至Ｓ１７の処理により、隣接平面定数算出手段（上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」による平面データの推定）による隣接平面の平面定数の算出が数回（ＭＳ回）行われたとき、その次には、再度、特定平面算出手段（上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」）により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。
【００５１】
Ｓ１５において、ｊ＝ＭＳと判定さない場合には、Ｓ１８において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δ１、ｊを検出する。次に、Ｓ１９において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａ１、ｊ＋１の平面データ（位置ｄ１、ｊ＋１、傾き１、ｊ＋１）を算出して保存する。そして、Ｓ２０において、車両進行方向の分割の数値パラメータｊに１を加え（ｊ＝ｊ＋１）、Ｓ２１でｊが、車両進行方向の分割数Ｍより大きいか否かを判定し、以下Ｓ７乃至Ｓ２０の処理を繰り返すことにより、Ｓ４で分割した全ての領域（ｉ＝１〜Ｎ、ｊ＝１〜Ｍ）について、路面データ（平面定数）を算出或いは推定することが出来る。
【００５２】
以上、本発明の実施形態によれば、撮像される路面画像の路面が複数の平面に分割され、これらの分割された平面のうちいずれかが特定平面として特定され、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、そして、この特定平面に隣接する平面の平面定数が特定平面とその隣接平面との境界部の勾配変化から推定されるようになっている。このように、撮像された路面を複数に分割したうちの一つについて平面定数（本実施形態では、車両からの距離及び路面の傾き）、他の隣接する面はこの算出した平面定数を基に境界部の勾配変化を考慮して算出されている。ここで、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出される方法は、ＥＣＵ６による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明の実施形態では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数が、処理負担が小さい手段により得られる勾配変化から算出されている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、ステレオカメラ４のそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので、本発明の実施形態によれば、路面の車両からの距離及び路面の傾斜を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。
【００５３】
また、撮像された路面は、車両進行方向の縦方向に分割されると共に路面の横断方向に分割され、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定されるので、路面の車両からの距離ｄ及び傾きｎを簡易且つ正確に検出することが出来る。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図である。
【図２】本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートである。
【図３】本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図である。
【図４】射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。
【図５】所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図である。
【図６】所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図である。
【図７】位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。
【図８】車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【図９】図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。
【図１０】車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
【図１１】図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。
【図１２】本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
【図１３】本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。
【符号の説明】
【００５５】
１ 車両
４ ステレオカメラ
６ ＥＣＵ
【特許請求の範囲】
【請求項１】
走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像される路面画像から路面を複数の平面に分割する路面分割手段と、
これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、
上記第１撮像手段及び上記第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により上記特定平面を規定する平面定数を算出する特定平面定数算出手段と、
上記特定平面に隣接する平面の平面定数を上記特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、
上記特定平面算出手段により算出された平面定数と、上記隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。
【請求項２】
上記路面分割手段は、上記撮像される路面画像の路面を車両進行方向の縦方向に分割する請求項１に記載の車両用走行路面検出装置。
【請求項３】
上記路面分割手段は、上記撮像される路面画像の路面を路面の横断方向に分割する請求項１又は請求項２に記載の車両用走行路面検出装置。
【請求項４】
上記特定平面及び上記隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される請求項１乃至３に記載の車両用走行路面検出装置。
【請求項５】
上記隣接平面定数算出手段は、上記特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する請求項１乃至４に記載の車両用走行路面検出装置。
【請求項６】
上記特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の上記平面定数は互いに同じものとする請求項１乃至５のいずれか１項に記載の車両用走行路面検出装置。
【請求項７】
上記隣接平面定数算出手段により上記隣接平面の上記平面定数の算出が数回行われたとき、その次には、再度上記特定平面算出手段により平面定数を算出し、その後順次上記隣接平面定数算出手段による特定平面の算出を行う請求項１乃至６のいずれか１項に記載の車両用走行路面検出装置。
【請求項１】
走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像される路面画像から路面を複数の平面に分割する路面分割手段と、
これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、
上記第１撮像手段及び上記第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により上記特定平面を規定する平面定数を算出する特定平面定数算出手段と、
上記特定平面に隣接する平面の平面定数を上記特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、
上記特定平面算出手段により算出された平面定数と、上記隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。
【請求項２】
上記路面分割手段は、上記撮像される路面画像の路面を車両進行方向の縦方向に分割する請求項１に記載の車両用走行路面検出装置。
【請求項３】
上記路面分割手段は、上記撮像される路面画像の路面を路面の横断方向に分割する請求項１又は請求項２に記載の車両用走行路面検出装置。
【請求項４】
上記特定平面及び上記隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される請求項１乃至３に記載の車両用走行路面検出装置。
【請求項５】
上記隣接平面定数算出手段は、上記特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する請求項１乃至４に記載の車両用走行路面検出装置。
【請求項６】
上記特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の上記平面定数は互いに同じものとする請求項１乃至５のいずれか１項に記載の車両用走行路面検出装置。
【請求項７】
上記隣接平面定数算出手段により上記隣接平面の上記平面定数の算出が数回行われたとき、その次には、再度上記特定平面算出手段により平面定数を算出し、その後順次上記隣接平面定数算出手段による特定平面の算出を行う請求項１乃至６のいずれか１項に記載の車両用走行路面検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１３９３２３（Ｐ２００９−１３９３２３Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１８５６６（Ｐ２００７−３１８５６６）
【出願日】平成１９年１２月１０日（２００７．１２．１０）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月１０日（２００７．１２．１０）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]