道路境界検出判断装置
【課題】環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供すること。
【解決手段】道路領域を撮像する２台以上のカメラを有する画像取得部と、画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、距離データ取得部によって得られた３次元距離情報に基づいて道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、画像を変換して第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部を備え、第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定すること。
【解決手段】道路領域を撮像する２台以上のカメラを有する画像取得部と、画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、距離データ取得部によって得られた３次元距離情報に基づいて道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、画像を変換して第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部を備え、第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定すること。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された複数の撮像装置によって立体物で区切られた道路境界を検出して車両の走行領域を判断する装置、特にオクルージョンや撮像画像が不明瞭のため道路境界に相当する立体物の検出が困難である場合にも対応できる道路境界検出判断装置に関する。
【背景技術】
【０００２】
従来から、自動車の安全運転を確保するために運転者に警報を与えたり、操作支援を行ったりするＡＳＶ(Advanced Safety Vehicle：先進安全自動車)に関して、技術開発が進められている。ＡＳＶには、特に自動車の道路からの逸脱を防止するために、道路の境界を検出することが必要である。そこで、自動車に搭載したカメラを用いて、車道を規定する路面上の車線や道路鋲などの道路標示を検出する方法がよく用いられる。
【０００３】
しかし、高速道路や整備された道路には道路標示の存在を期待できるが、幅員の狭い道路や整備途中の道路では、車道外側線の外側には道路標示のない場合が多い。また、カーブ半径の短い道路では、道路湾曲部の車線がカメラに映りにくいため、道路の境界を判断するのが困難である。そのため、車線や道路鋲等の道路標示だけでなく、歩車道分離ブロック、歩道、生垣、ガードレール、側壁、ポール等の立体物からも、道路の境界を判断する必要がある。
【０００４】
カメラを用いて、立体物で区切られた道路境界を検出する方法として、２台以上の複数のカメラを用いる方法がある。例えば、特許文献１には、２台のカメラから得たステレオ画像を基に撮像領域中の立体物の路面からの高さを算出し、ガードレールや側壁等の連続する立体物を検出することにより、道路境界を検出する方法が提案されている。
【０００５】
また、特許文献２には、２台のカメラを用い平面投影ステレオ法による路肩検出装置及び方法が開示されている。平面投影ステレオ法では、一方のカメラで得た画像中のすべてのものが道路平面に存在すると仮定し、これを他方のカメラからの見た画像に変換する。変換された画像は、道路平面に相当する部分は変形せず、立体物に相当する部分のみ変形した画像になっている。この変換された画像と他方のカメラで得た画像と比較することにより、道路平面上の立体物を検出できるのである。
【０００６】
【特許文献１】特開平１１−２１３１３８号公報
【特許文献２】特開２００３−２３３８９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１に記載された手法では、立体物の路面からの高さを算出するためにはステレオ画像間の対応点探索を行う必要があるが、明るさが低下する等の環境変化によって画像中の立体物のエッジや濃淡パターンが不明瞭になると、一般的に対応点探索の精度が低下する。また、立体物の高さが低い場合や遠方に存在する場合では、画像に映る立体物が小さくなり、立体物の路面からの高さを求めるのが困難となる。特許文献１の技術では、こうした立体物の高さの得られない道路では、立体物で区切られた道路境界を得ることが難しくなるという問題が生じる。
【０００８】
また、特許文献２に記載された手法では、車両の走行する道路平面を予め知っておく必要があり、勾配変化の多い道路に適用する場合や遠方にある立体物で区切られた道路境界を検知することが難しいという問題が生じる。
【０００９】
本発明は、上記のような従来技術の問題の解決を課題として、環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の道路境界検出判断装置は、自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、前記道路領域を撮像する２台以上のカメラを有する画像取得部と、前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、環境の明るさ変化や遠方に存在することによって画像中の立体物のエッジや濃淡パターンが不明瞭になる場合、また、オクルージョンが発生して立体物の３次元距離データを一部検出できない場合等において、既に求まっている立体物の画像情報を基にして画像中から立体物の探索を行うことにより、立体物で区切られた道路境界を検出し判断することができる。
【発明を実施するための最良の形態】
【００１２】
以下、道路境界検出装置の実施の形態について、図を参照して説明する。
＜実施例１＞
図１は、実施例１の道路境界検出判断装置の構成を示すブロック図である。道路境界検出判断装置1は、左カメラ100、右カメラ101と、同時刻のタイミングで撮像した左カメラ100と右カメラ101との画像を保存する画像取得部102を備える。道路境界検出判断装置1は、更に画像取得部102に保存された２つの画像から左右カメラの撮像領域の３次元距離データを取得する距離データ取得部103と、距離データ取得部103によって得られた３次元距離データに基づき道路境界を検出する道路境界検出部104と、道路境界検出部104の出力と画像取得部102の出力から道路境界の位置と高さを出力する同一境界判断部105を備える。
【００１３】
図２は、左カメラ100と右カメラ101を搭載した自車両110を示す。自車両の進行方向に対して、左カメラ100は左側に、右カメラ101は右側に設置される。通常はフロントウィンドウの内側に設置されるが、左右のヘッドライトカバー内に設置してもよいし、また、フロントグリル部に設置してもよい。左右カメラ100, 101の光軸間長さ及び路面からの高さは、自車両110の種類に応じて適宜設定する。また、左右カメラ100, 101の視野角が所定量だけ重なるように設置する。
【００１４】
画像取得部102は、左右カメラ100, 101に対し、同時刻のタイミングで撮像するよう撮像タイミング信号を出力し、電子シャッター若しくはメカニカルシャッターによって所定の露光時間後に左右カメラ100, 101との画像データを取得してメモリに保存する。
【００１５】
距離データ取得部103は、左右カメラ100, 101で撮像した領域の３次元距離データを算出してメモリに保存する。３次元距離データは、三角測量の原理に基づき３次元空間中のある点の左右画像間での対応付けを行うことで算出する。画像間の対応付けには、輝度差の総和ＳＡＤ(Sum of Absolute Difference)、輝度差の２乗和ＳＳＤ(Sum of Squared Difference)、正規化相関マッチング法や位相限定相関法等の方法がよく用いられ、サブピクセル精度での対応付けを行うことにより、３次元距離データの精度を向上することができる。なお、３次元距離データの座標系は、図２に示すように、進行方向をＺ軸202、自車両110の幅方向をＸ軸200、高さ方向をＹ軸201とし、原点は左右カメラ設置位置の中心とする。(この座標系を以下「世界座標系」という。)
道路境界検出部104は、距離データ取得部103によって算出された３次元距離データに基づいて、道路境界に相当する立体物が存在するかを判定する部である。図３は右カメラ101によって撮像された画像であり、この画像に写る縁石320の検出例を、以下、説明する。なお、図１５〜図１８は、実施例１の処理の流れを示すフローチャートである。
【００１６】
図４はＸＺ平面を真上から眺めた俯瞰図であり、黒点は距離データ取得部によって算出された３次元距離データ（図１５のS02参照）の位置を示す。３次元距離データは左右カメラ100, 101の視野範囲内に分布しており、一般的に自車両遠方側に比べて近傍側のデータ数が多い。この３次元距離データ分布から道路境界に相当する立体物を検出するために、図４に示すようにＺ軸方向に所定間隔毎に区切った領域（この領域を以下「短冊」という。）を設ける（図１５のS03参照）。そして、短冊毎に道路境界の検出処理を行う。短冊幅の長さは適宜設定してよいが、自車両110の幅に相当する長さに設定することが望ましい。また、自車両110の車速に応じ（Ｘ軸方向の）長さを変えてもよい。
【００１７】
次に、短冊に含まれる３次元距離データから道路形状を求める（図１５のS04参照）方法を説明する。図５は３次元距離データをＹＺ平面に投影した図であり、横軸が奥行き方向のZ軸202、縦軸が高さ方向のY軸201である。黒点は、図４と同様に３次元距離データの位置を示す。短冊番号W1の短冊中に含まれる３次元距離データをX軸Y軸で張られるXY平面に投影すると、図６に示すデータ分布が得られる。この分布から次式で表される道路モデルに従って道路形状を推定する。
【００１８】
【数１】
【００１９】
式１は、１次方程式で表わされる道路モデルであり、ａ及びｂはパラメータである。パラメータの算出方法は種々のものがあるが、例えばＸＹ平面上のデータ分布に対してハフ変換を用いる場合は、ハフ空間の所定領域で投票数が最大となるa及びbを選択すればよい。さらに、ハフ変換で算出された値を初期値とし、M推定法によってa及びｂを再探索し、はずれ値の影響を減らす方法を用いるのがよい。また、一次方程式ではなく多次元方程式を道路モデルに用いてもよい。
【００２０】
式１の道路モデルを前記データ分布に当てはめた結果は、図６に示された直線400である。この算出された道路モデルに対して、所定高さ以上の立体形状が進行方向に対して左右それぞれ存在するかどうかを探索する。探索方法としては、例えば図７に示すように、直線400をX軸、直線400に直行する直線402を新たにＹ’軸とし、所定高さ以上のデータ群が存在するかを探索すればよい。探索した結果、図７に示された斜線領域401に左側の道路境界に相当する立体物の存在を確認する。
【００２１】
上記処理を短冊毎に繰り返し実行することにより、左右道路境界に相当する立体物の高さ及び位置を検出する（図１６のS08参照）。そして、短冊毎に左右道路境界に相当する立体物の検出状況に応じて、左右に分けたそれぞれに、立体物の検出できた領域を第１の道路領域に（図１６のS14参照）、立体物を検出できない場合は第２の道路領域に（図１６のS15参照）分類する。
【００２２】
図８は、上記処理によって検出された道路境界に相当する立体物の３次元距離データの分布を示すもので、左右に左右道路境界に相当する立体物の３次元距離データの分布310, 311が認められる。図９は、図８に示された検出結果に対応した短冊毎の分類結果を示す。以上に記載したようにして得られた短冊毎の道路境界に相当する立体物の高さと位置、そして分類結果のデータを、メモリに保存する。
【００２３】
同一境界判断部105は、道路境界検出部104の分類結果に基づき、画像取得部102で得られた画像における第１の道路領域に相当する画像と第２の道路領域に相当する画像との比較を行うことにより、第２の道路領域に第１の道路領域と同一の立体物が存在するかを判断する部である。取得した画像毎にこの推定処理を行うため、立体物がオクルージョンによって隠されている場合にも道路境界を推定することが可能である。
【００２４】
次に、同一境界判断部の処理の流れを説明する。まず、道路境界検出部の処理結果から第２の道路領域に分類された短冊を探索する（図１７のS18参照）。該当する短冊が見つかった場合、左右カメラ100, 101から得られた画像を、該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第1の道路領域の立体物を正面に見る画像に、それぞれ射影変換する（図１７のS19参照）。前記画像を変換することにより、消失点に向って第１及び第２の道路領域に相当する画像が小さくなって比較が難しくなる問題を解消することができる。さらに、第１及び第２の道路領域に相当する画像の位置関係を水平にすることで、比較を容易にすることができる。その変換式を次に示す。
【００２５】
【数２】
【００２６】
【数３】
ここで、u, vは変換前の画像位置、u', v'は変換後の画像位置、λは固有値を表す。射影変換行列Hの要素をh11からh33の変数で表す。
【００２７】
そして、射影変換行列Hは、次式によって算出することができる。
【００２８】
【数４】
【００２９】
ここで、行列Aはカメラに装着したレンズの焦点距離、画像中心、画素サイズからなる３行３列の内部パラメータ行列である。行列Rとベクトルｔは、それぞれ世界座標系に対するカメラの姿勢に関する３行３列の回転行列とカメラの３次元位置である。行列A、行列R、ベクトルtは、左右カメラ100, 101に対してそれぞれ用意されており、工場出荷前に行われるカメラ校正によって予め値が既知である。ただし、車両搭載後のカメラ校正で値が変更された場合は最新の値を用いることにする。
【００３０】
行列R'とベクトルt'は、前記の該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第1の道路領域の立体物を正面に見るようにカメラの姿勢及び３次元位置を仮想的に移動した場合の回転行列と３次元位置を表している。この仮想カメラの姿勢は、例えば、第２の道路領域に分類された短冊より１つ手前にある短冊に存在する立体物にカメラ光軸が向くようにする。これを図１０に示された例について言えば、短冊番号W4に存在する立体物の３次元距離データをＸＺ平面に投影したデータのよる直線334に対して直角で、かつ（式１）の道路モデルに平行となる直線331に対し、光軸が重なるように又は平行となるように仮想カメラの向きを設定すればよい。
【００３１】
図１０に示した例では、仮想カメラの３次元位置は、短冊番号W4に存在する立体物の３次元距離データの重心位置332を注視位置とし、この注視位置332を、前記設定したカメラ光軸が通り、自車両のカメラから前記注視位置までの距離に等しくなる位置333に設定している。つまり、直線331において、直線330の長さに等しい位置333にカメラの３次元位置を設定すればよい。
【００３２】
このように、（式４）によって、射影変換行列Hを算出することができる。ただし、短冊に存在する立体物の３次元距離データ数が所定数より少ない場合は、更に一つ手前の短冊に含まれる立体物の３次元距離データを用いるのがよい。
【００３３】
図１１及び図１２は、射影変換で画像変換する例を示す。図１１は右カメラ101から取得した画像であり、道路境界検出部104によって検出された道路境界に相当する立体物は、図１１に示された画像中の斜線部410, 411で表されている。図１２は、図１１の斜線部410で示す領域の立体物について、短冊番号W４の立体物を正面に見るように射影変換した画像を示す。以上のように変換することによって、消失点に向って小さくなる立体物の画像の変化を抑えることができ、更に第1の道路領域と第２の道路領域の画像位置を水平にすることができる。
【００３４】
次に、射影変換した画像において、立体物を検知しない第２の道路領域に相当する画像領域の所定位置に、所定サイズのテンプレートを設定する（図１７のS20参照）。テンプレートサイズの設定としては、前記第２の道路領域に隣接する短冊の一つ手前にある短冊（第1の道路領域）に存在する立体物の画像中の縦幅を、一辺の長さとする正方形にするのがよい。テンプレート位置については、この射影変換した画像における第1の道路領域に、水平方向で隣接する第２の道路領域に設定すればよい。
【００３５】
このように設定したテンプレートを、探索範囲である第1の道路領域に相当する画像領域内で動かし、このテンプレート内の画像とこの第1の道路領域に相当する画像領域内との類似度を算出する（図１７のS21参照）。
【００３６】
この類似度の最大値が所定値より高い場合、類似度の最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が、テンプレートを設定した画像位置に存在すると推定する（図１８のS23参照）。また、左右カメラ100, 101から得られる画像毎に前記テンプレートマッチング処理を行い、左右どちらか一方の類似度が所定値を上回る場合にも、前記と同様に類似度が最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が存在すると判断する。
【００３７】
以上の処理をテンプレートの設定位置をずらしながら、第２の道路領域に設定された短冊に相当する画像領域全体にわたって処理を行う。もし一度でも類似度の最大値が所定値を上回った場合は、その短冊を第２の道路領域から第1の道路領域に再設定する（図１８のS25参照）。
【００３８】
この類似度の最大値が所定値より小さい場合は、道路領域に相当する立体物が存在しないと判断する（図１８のS26参照）。
【００３９】
以上の処理を全ての第２の道路領域に分類された短冊に対して実行することにより、３次元距離データで検出できなかった道路境界に相当する立体物の位置と高さを推定する（図１８のS28参照）。なお、類似度としては、コントラストや明度の変化に強い相関係数を用いるのがよい。これに限らず、フーリエ変換等のテクスチャーを示す尺度を用いてもよい。
【００４０】
図１３は、テンプレートを設定する例のテンプレート設定領域420と探索範囲421を示す。テンプレートは、第２の道路領域に分類されている短冊番号W5の画像領域中に設定され、探索範囲421とテンプレートマッチングを行って、類似度の最大値が所定値を上回るか否かを判定する。この判定が済むと、テンプレートの設定領域を、図１３において右側にずらし、再度探索範囲421とテンプレートマッチングを行う。なお、テンプレートの設定領域を右側にずらす際に、前回の設定領域と所定範囲を被らせるようにしてもよい。
【００４１】
また、上記処理において、立体物のＸＺ平面上の位置（X, Z）を推定するには、例えば図１４に示されたように、射影変換行列を求める際に算出したＸＺ平面上の直線334と、テンプレート位置に対応する視線をＸＺ平面に投影した直線340との交点341の座標とするのがよい。ただし、短冊番号W4内の３次元距離データだけではなく、他の第1の道路領域に相当する短冊の３次元距離データもＸＺ平面に投影し、この投影データに当てはめた高次方程式と直線340との交点の座標としてもよい。
【００４２】
以上のようにして、道路境界検出部104と同一境界判断部105により、自車両の進行方向に存在する道路境界に相当する立体物の高さと位置を検出することができる。以上、実施例１は、左右２台のカメラを用いる形態であるが、２台を超える数のカメラがある場合では、その中の２台のカメラを組み合わせることにより、実施例１を拡張して適用することが可能である。
【００４３】
＜実施例２＞
次に、実施例２の道路境界検出判断装置について説明する。図１９は、実施例２の道路境界検出判断装置の構成を示すブロック図である。実施例２は、図１に示された実施例１の道路境界検出判断装置に対して、自車両110の運動情報を取得する運動情報取得部123と、移動軌跡を推定する移動軌跡推定部124、更に自車両110の道路からの逸脱を検知する道路境界逸脱判断部125と、運転者に警報を与える警報部が加わった構成である。以下、各部の詳細を説明する。
【００４４】
運動情報取得部123は、自車両110に搭載された車速センサ120、舵角センサ121、加速度・ヨーレートセンサ122の信号を取得する部であり、ＣＡＮ(Control Area Network)、FlexRayなどの通信プロトコルに則り、所定の時間間隔で信号の送受信を行う。ただし、本発明は、上記の通信プロトコルに制限されるものではなく、他の通信プロトコルを用いてもよい。
【００４５】
移動軌跡推定部124は、運動情報取得部123によって取得された自車両の車速、舵角、加速度・ヨーレートに基づいて、自車両の所定時間後までの移動軌跡を推定する部である。移動軌跡の推定には、自車両の車両ダイナミクスに基づく車両運動モデルを用いる。車両運動モデルを用いた移動軌跡の推定には、所定時間までの数値積分を行う必要があるが、各種センサの信号に含まれる計測誤差が蓄積して推定誤差が肥大化してしまうおそれがある。
【００４６】
これに対して、例えばＧＰＳ(Global Positioning System)から得られる位置情報を付加することにより、推定誤差の低減が可能である。推定される移動軌跡の位置情報は、図２に示されたＸ軸200、Ｙ軸201、Ｚ軸202からなる世界座標系におけるＸＺ平面上の点とする。なお、道路境界検出部104で推定された道路モデルに、移動軌跡を投影するようにしてもよい。また、本発明は、移動軌跡推定法に限定されるものではなく、他の推定法を用いてもよい。
【００４７】
本移動軌跡推定部124によって推定された移動軌跡の位置情報は、メモリに保存される。なお、メモリには、短冊毎に一つの移動軌跡の位置情報を保存してもよいし、所定時間毎の位置情報を保存してもよい。
【００４８】
道路境界逸脱判断部125は、移動軌跡推定部124で推定された移動軌跡の位置情報と、道路境界検出部104と同一境界判断部105とによって得られた左右道路境界に相当する立体物の位置情報とに基づいて、自車両が道路境界を逸脱するか否かを判断する部である。図２０は、逸脱判断を行う例を示す。移動軌跡推定部124で推定された移動軌跡316が道路境界検出部104と同一境界判断部105とによって検出及び推定された左側道路境界に相当する立体物315の位置を横切る様子を示している。
【００４９】
以下、図２０を参照して判断処理内容を説明する。まず、左右道路境界の立体物を横切る移動軌跡の位置318を推定する。それから、次式により、横切り位置318までの走行距離Lと車速vより、境界を横切るまでの横切り時間tcを算出する。
【００５０】
【数５】
【００５１】
さらに、横切り位置318の連続推定回数Ncをカウントする。この連続推定回数Ncは、運転者のハンドル操作による舵角の微小振動や、車速センサ120、加速度・ヨーレートセンサ122の出力信号に含まれるノイズによって移動軌跡が振動し、横切りの誤判断を低下する目的で設定する。
【００５２】
横切り時間tcが所定値より短く、連続推定回数Ncが所定値より大きい場合、自車両の道路逸脱の可能性が高いと判断する。なお、横切り時間tcに関する所定値は、所定の減速度で横切り位置までに停止するのに必要な時間と、運転者の障害物を認知・判断して回避又は制動操作を行う一連の動作にかかる時間の統計値に基づいて設定することが望ましい。こうして、道路境界逸脱判断部によって逸脱防止のための警報を出すか出さないかの判断がなされる。
【００５３】
警報部126は、道路境界逸脱判断部125の判断結果に基づいて、運転者に警報を出す部分である。警報としては、自車両に搭載されているスピーカを利用した警報音や警報ランプの点灯が望ましい。また、ハンドルを加振させるようにしてもよい。なお、本発明は、上記の警報の与え方に限定されるものではなく、他の方法を用いるようにしてもよい。
【００５４】
以上のとおり、実施例２は、運転者に道路逸脱警報を与えることにより、道路逸脱を未然に防ぐことが可能となる。
【図面の簡単な説明】
【００５５】
【図１】実施例１の道路境界検出判断装置のブロック図。
【図２】車両に搭載された左右カメラの配置と座標系。
【図３】図２に示された右カメラで進行方向を撮像した画像の一例。
【図４】車両に搭載された左右カメラで撮像した画像による３次元距離データをＸＺ平面へ投影した画像と、Z方向で所定間隔毎に区分された領域である短冊。
【図５】車両に搭載された左右カメラで撮像した画像による３次元距離データをＹＺ平面へ投影した画像と、Z方向で区分された領域である短冊。
【図６】短冊に含まれる３次元距離データの分布と検出された道路形状。
【図７】短冊に含まれる３次元距離データの分布と検出された道路境界に相当する立体物。
【図８】道路境界に相当する立体物の３次元位置距離データのＸＺ平面上の分布状況。
【図９】短冊番号と左右道路境界に相当する立体物の検出状況の一例。
【図１０】立体物の３次元位置データの重心と仮想視点のＸＺ平面上の位置。
【図１１】車両の右カメラから取得した画像の一例と、検出された道路境界に相当する立体物。
【図１２】図１１における左側の道路境界に相当する立体物の領域410を正面に見る画像に変換した画像の一例。
【図１３】テンプレートの設定領域とテンプレートマッチングの探索範囲。
【図１４】立体物の推定位置（Ｘ，Ｚ）を求める方法。
【図１５】実施例１の動作のフローチャートの一部。
【図１６】実施例１の動作のフローチャートの一部。
【図１７】実施例１の動作のフローチャートの一部。
【図１８】実施例１の動作のフローチャートの一部。
【図１９】実施例２の動作のフローチャートの一部。
【図２０】道路境界から逸脱するシーン。
【符号の説明】
【００５６】
100…左カメラ、101…右カメラ、102…画像取得部、103…距離データ取得部、104…道路境界検出部、105…同一境界判断部、110…自車両、120…車速センサ、121…舵角センサ、122…加速度・ヨーレートセンサ、123…運動情報取得部、124…移動軌跡推定部、125…道路境界逸脱判断部、126…警報部、
200…X軸、201…Ｙ軸、202…Ｚ軸、
300…３次元距離データ、301…短冊、305…短冊301に含まれる３次元距離データ、310…左側道路境界に相当する立体物データ、311…右側道路境界に相当する立体物データ、315…検出及び推定された左側道路境界に相当する立体物データ、316…短冊毎の自車両の移動軌跡位置、317…移動軌跡の点列、320…縁石、330…注視位置までの距離、331…仮想視点位置と注視位置との距離、332…注視位置、333…仮想視点位置、334…短冊W4に含まれる３次元距離データのＸＺ投影点に対する直線当てはめ結果、340…類似度が最大になるテンプレート位置に対応するＸＺ平面に投影した視線、341…立体物の推定位置、
400…道路形状、401…道路境界に相当する立体物、402…Y’軸、403…X’軸、410…右画面における左側道路境界に相当する立体物データ、411…右画面における右側道路境界に相当する立体物データ、420…テンプレート設定領域、421…探索範囲
【技術分野】
【０００１】
本発明は、車両に搭載された複数の撮像装置によって立体物で区切られた道路境界を検出して車両の走行領域を判断する装置、特にオクルージョンや撮像画像が不明瞭のため道路境界に相当する立体物の検出が困難である場合にも対応できる道路境界検出判断装置に関する。
【背景技術】
【０００２】
従来から、自動車の安全運転を確保するために運転者に警報を与えたり、操作支援を行ったりするＡＳＶ(Advanced Safety Vehicle：先進安全自動車)に関して、技術開発が進められている。ＡＳＶには、特に自動車の道路からの逸脱を防止するために、道路の境界を検出することが必要である。そこで、自動車に搭載したカメラを用いて、車道を規定する路面上の車線や道路鋲などの道路標示を検出する方法がよく用いられる。
【０００３】
しかし、高速道路や整備された道路には道路標示の存在を期待できるが、幅員の狭い道路や整備途中の道路では、車道外側線の外側には道路標示のない場合が多い。また、カーブ半径の短い道路では、道路湾曲部の車線がカメラに映りにくいため、道路の境界を判断するのが困難である。そのため、車線や道路鋲等の道路標示だけでなく、歩車道分離ブロック、歩道、生垣、ガードレール、側壁、ポール等の立体物からも、道路の境界を判断する必要がある。
【０００４】
カメラを用いて、立体物で区切られた道路境界を検出する方法として、２台以上の複数のカメラを用いる方法がある。例えば、特許文献１には、２台のカメラから得たステレオ画像を基に撮像領域中の立体物の路面からの高さを算出し、ガードレールや側壁等の連続する立体物を検出することにより、道路境界を検出する方法が提案されている。
【０００５】
また、特許文献２には、２台のカメラを用い平面投影ステレオ法による路肩検出装置及び方法が開示されている。平面投影ステレオ法では、一方のカメラで得た画像中のすべてのものが道路平面に存在すると仮定し、これを他方のカメラからの見た画像に変換する。変換された画像は、道路平面に相当する部分は変形せず、立体物に相当する部分のみ変形した画像になっている。この変換された画像と他方のカメラで得た画像と比較することにより、道路平面上の立体物を検出できるのである。
【０００６】
【特許文献１】特開平１１−２１３１３８号公報
【特許文献２】特開２００３−２３３８９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１に記載された手法では、立体物の路面からの高さを算出するためにはステレオ画像間の対応点探索を行う必要があるが、明るさが低下する等の環境変化によって画像中の立体物のエッジや濃淡パターンが不明瞭になると、一般的に対応点探索の精度が低下する。また、立体物の高さが低い場合や遠方に存在する場合では、画像に映る立体物が小さくなり、立体物の路面からの高さを求めるのが困難となる。特許文献１の技術では、こうした立体物の高さの得られない道路では、立体物で区切られた道路境界を得ることが難しくなるという問題が生じる。
【０００８】
また、特許文献２に記載された手法では、車両の走行する道路平面を予め知っておく必要があり、勾配変化の多い道路に適用する場合や遠方にある立体物で区切られた道路境界を検知することが難しいという問題が生じる。
【０００９】
本発明は、上記のような従来技術の問題の解決を課題として、環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の道路境界検出判断装置は、自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、前記道路領域を撮像する２台以上のカメラを有する画像取得部と、前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、環境の明るさ変化や遠方に存在することによって画像中の立体物のエッジや濃淡パターンが不明瞭になる場合、また、オクルージョンが発生して立体物の３次元距離データを一部検出できない場合等において、既に求まっている立体物の画像情報を基にして画像中から立体物の探索を行うことにより、立体物で区切られた道路境界を検出し判断することができる。
【発明を実施するための最良の形態】
【００１２】
以下、道路境界検出装置の実施の形態について、図を参照して説明する。
＜実施例１＞
図１は、実施例１の道路境界検出判断装置の構成を示すブロック図である。道路境界検出判断装置1は、左カメラ100、右カメラ101と、同時刻のタイミングで撮像した左カメラ100と右カメラ101との画像を保存する画像取得部102を備える。道路境界検出判断装置1は、更に画像取得部102に保存された２つの画像から左右カメラの撮像領域の３次元距離データを取得する距離データ取得部103と、距離データ取得部103によって得られた３次元距離データに基づき道路境界を検出する道路境界検出部104と、道路境界検出部104の出力と画像取得部102の出力から道路境界の位置と高さを出力する同一境界判断部105を備える。
【００１３】
図２は、左カメラ100と右カメラ101を搭載した自車両110を示す。自車両の進行方向に対して、左カメラ100は左側に、右カメラ101は右側に設置される。通常はフロントウィンドウの内側に設置されるが、左右のヘッドライトカバー内に設置してもよいし、また、フロントグリル部に設置してもよい。左右カメラ100, 101の光軸間長さ及び路面からの高さは、自車両110の種類に応じて適宜設定する。また、左右カメラ100, 101の視野角が所定量だけ重なるように設置する。
【００１４】
画像取得部102は、左右カメラ100, 101に対し、同時刻のタイミングで撮像するよう撮像タイミング信号を出力し、電子シャッター若しくはメカニカルシャッターによって所定の露光時間後に左右カメラ100, 101との画像データを取得してメモリに保存する。
【００１５】
距離データ取得部103は、左右カメラ100, 101で撮像した領域の３次元距離データを算出してメモリに保存する。３次元距離データは、三角測量の原理に基づき３次元空間中のある点の左右画像間での対応付けを行うことで算出する。画像間の対応付けには、輝度差の総和ＳＡＤ(Sum of Absolute Difference)、輝度差の２乗和ＳＳＤ(Sum of Squared Difference)、正規化相関マッチング法や位相限定相関法等の方法がよく用いられ、サブピクセル精度での対応付けを行うことにより、３次元距離データの精度を向上することができる。なお、３次元距離データの座標系は、図２に示すように、進行方向をＺ軸202、自車両110の幅方向をＸ軸200、高さ方向をＹ軸201とし、原点は左右カメラ設置位置の中心とする。(この座標系を以下「世界座標系」という。)
道路境界検出部104は、距離データ取得部103によって算出された３次元距離データに基づいて、道路境界に相当する立体物が存在するかを判定する部である。図３は右カメラ101によって撮像された画像であり、この画像に写る縁石320の検出例を、以下、説明する。なお、図１５〜図１８は、実施例１の処理の流れを示すフローチャートである。
【００１６】
図４はＸＺ平面を真上から眺めた俯瞰図であり、黒点は距離データ取得部によって算出された３次元距離データ（図１５のS02参照）の位置を示す。３次元距離データは左右カメラ100, 101の視野範囲内に分布しており、一般的に自車両遠方側に比べて近傍側のデータ数が多い。この３次元距離データ分布から道路境界に相当する立体物を検出するために、図４に示すようにＺ軸方向に所定間隔毎に区切った領域（この領域を以下「短冊」という。）を設ける（図１５のS03参照）。そして、短冊毎に道路境界の検出処理を行う。短冊幅の長さは適宜設定してよいが、自車両110の幅に相当する長さに設定することが望ましい。また、自車両110の車速に応じ（Ｘ軸方向の）長さを変えてもよい。
【００１７】
次に、短冊に含まれる３次元距離データから道路形状を求める（図１５のS04参照）方法を説明する。図５は３次元距離データをＹＺ平面に投影した図であり、横軸が奥行き方向のZ軸202、縦軸が高さ方向のY軸201である。黒点は、図４と同様に３次元距離データの位置を示す。短冊番号W1の短冊中に含まれる３次元距離データをX軸Y軸で張られるXY平面に投影すると、図６に示すデータ分布が得られる。この分布から次式で表される道路モデルに従って道路形状を推定する。
【００１８】
【数１】
【００１９】
式１は、１次方程式で表わされる道路モデルであり、ａ及びｂはパラメータである。パラメータの算出方法は種々のものがあるが、例えばＸＹ平面上のデータ分布に対してハフ変換を用いる場合は、ハフ空間の所定領域で投票数が最大となるa及びbを選択すればよい。さらに、ハフ変換で算出された値を初期値とし、M推定法によってa及びｂを再探索し、はずれ値の影響を減らす方法を用いるのがよい。また、一次方程式ではなく多次元方程式を道路モデルに用いてもよい。
【００２０】
式１の道路モデルを前記データ分布に当てはめた結果は、図６に示された直線400である。この算出された道路モデルに対して、所定高さ以上の立体形状が進行方向に対して左右それぞれ存在するかどうかを探索する。探索方法としては、例えば図７に示すように、直線400をX軸、直線400に直行する直線402を新たにＹ’軸とし、所定高さ以上のデータ群が存在するかを探索すればよい。探索した結果、図７に示された斜線領域401に左側の道路境界に相当する立体物の存在を確認する。
【００２１】
上記処理を短冊毎に繰り返し実行することにより、左右道路境界に相当する立体物の高さ及び位置を検出する（図１６のS08参照）。そして、短冊毎に左右道路境界に相当する立体物の検出状況に応じて、左右に分けたそれぞれに、立体物の検出できた領域を第１の道路領域に（図１６のS14参照）、立体物を検出できない場合は第２の道路領域に（図１６のS15参照）分類する。
【００２２】
図８は、上記処理によって検出された道路境界に相当する立体物の３次元距離データの分布を示すもので、左右に左右道路境界に相当する立体物の３次元距離データの分布310, 311が認められる。図９は、図８に示された検出結果に対応した短冊毎の分類結果を示す。以上に記載したようにして得られた短冊毎の道路境界に相当する立体物の高さと位置、そして分類結果のデータを、メモリに保存する。
【００２３】
同一境界判断部105は、道路境界検出部104の分類結果に基づき、画像取得部102で得られた画像における第１の道路領域に相当する画像と第２の道路領域に相当する画像との比較を行うことにより、第２の道路領域に第１の道路領域と同一の立体物が存在するかを判断する部である。取得した画像毎にこの推定処理を行うため、立体物がオクルージョンによって隠されている場合にも道路境界を推定することが可能である。
【００２４】
次に、同一境界判断部の処理の流れを説明する。まず、道路境界検出部の処理結果から第２の道路領域に分類された短冊を探索する（図１７のS18参照）。該当する短冊が見つかった場合、左右カメラ100, 101から得られた画像を、該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第1の道路領域の立体物を正面に見る画像に、それぞれ射影変換する（図１７のS19参照）。前記画像を変換することにより、消失点に向って第１及び第２の道路領域に相当する画像が小さくなって比較が難しくなる問題を解消することができる。さらに、第１及び第２の道路領域に相当する画像の位置関係を水平にすることで、比較を容易にすることができる。その変換式を次に示す。
【００２５】
【数２】
【００２６】
【数３】
ここで、u, vは変換前の画像位置、u', v'は変換後の画像位置、λは固有値を表す。射影変換行列Hの要素をh11からh33の変数で表す。
【００２７】
そして、射影変換行列Hは、次式によって算出することができる。
【００２８】
【数４】
【００２９】
ここで、行列Aはカメラに装着したレンズの焦点距離、画像中心、画素サイズからなる３行３列の内部パラメータ行列である。行列Rとベクトルｔは、それぞれ世界座標系に対するカメラの姿勢に関する３行３列の回転行列とカメラの３次元位置である。行列A、行列R、ベクトルtは、左右カメラ100, 101に対してそれぞれ用意されており、工場出荷前に行われるカメラ校正によって予め値が既知である。ただし、車両搭載後のカメラ校正で値が変更された場合は最新の値を用いることにする。
【００３０】
行列R'とベクトルt'は、前記の該当する短冊の手前に位置する（又は該当する短冊から所定数の短冊間に含まれる）第1の道路領域の立体物を正面に見るようにカメラの姿勢及び３次元位置を仮想的に移動した場合の回転行列と３次元位置を表している。この仮想カメラの姿勢は、例えば、第２の道路領域に分類された短冊より１つ手前にある短冊に存在する立体物にカメラ光軸が向くようにする。これを図１０に示された例について言えば、短冊番号W4に存在する立体物の３次元距離データをＸＺ平面に投影したデータのよる直線334に対して直角で、かつ（式１）の道路モデルに平行となる直線331に対し、光軸が重なるように又は平行となるように仮想カメラの向きを設定すればよい。
【００３１】
図１０に示した例では、仮想カメラの３次元位置は、短冊番号W4に存在する立体物の３次元距離データの重心位置332を注視位置とし、この注視位置332を、前記設定したカメラ光軸が通り、自車両のカメラから前記注視位置までの距離に等しくなる位置333に設定している。つまり、直線331において、直線330の長さに等しい位置333にカメラの３次元位置を設定すればよい。
【００３２】
このように、（式４）によって、射影変換行列Hを算出することができる。ただし、短冊に存在する立体物の３次元距離データ数が所定数より少ない場合は、更に一つ手前の短冊に含まれる立体物の３次元距離データを用いるのがよい。
【００３３】
図１１及び図１２は、射影変換で画像変換する例を示す。図１１は右カメラ101から取得した画像であり、道路境界検出部104によって検出された道路境界に相当する立体物は、図１１に示された画像中の斜線部410, 411で表されている。図１２は、図１１の斜線部410で示す領域の立体物について、短冊番号W４の立体物を正面に見るように射影変換した画像を示す。以上のように変換することによって、消失点に向って小さくなる立体物の画像の変化を抑えることができ、更に第1の道路領域と第２の道路領域の画像位置を水平にすることができる。
【００３４】
次に、射影変換した画像において、立体物を検知しない第２の道路領域に相当する画像領域の所定位置に、所定サイズのテンプレートを設定する（図１７のS20参照）。テンプレートサイズの設定としては、前記第２の道路領域に隣接する短冊の一つ手前にある短冊（第1の道路領域）に存在する立体物の画像中の縦幅を、一辺の長さとする正方形にするのがよい。テンプレート位置については、この射影変換した画像における第1の道路領域に、水平方向で隣接する第２の道路領域に設定すればよい。
【００３５】
このように設定したテンプレートを、探索範囲である第1の道路領域に相当する画像領域内で動かし、このテンプレート内の画像とこの第1の道路領域に相当する画像領域内との類似度を算出する（図１７のS21参照）。
【００３６】
この類似度の最大値が所定値より高い場合、類似度の最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が、テンプレートを設定した画像位置に存在すると推定する（図１８のS23参照）。また、左右カメラ100, 101から得られる画像毎に前記テンプレートマッチング処理を行い、左右どちらか一方の類似度が所定値を上回る場合にも、前記と同様に類似度が最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が存在すると判断する。
【００３７】
以上の処理をテンプレートの設定位置をずらしながら、第２の道路領域に設定された短冊に相当する画像領域全体にわたって処理を行う。もし一度でも類似度の最大値が所定値を上回った場合は、その短冊を第２の道路領域から第1の道路領域に再設定する（図１８のS25参照）。
【００３８】
この類似度の最大値が所定値より小さい場合は、道路領域に相当する立体物が存在しないと判断する（図１８のS26参照）。
【００３９】
以上の処理を全ての第２の道路領域に分類された短冊に対して実行することにより、３次元距離データで検出できなかった道路境界に相当する立体物の位置と高さを推定する（図１８のS28参照）。なお、類似度としては、コントラストや明度の変化に強い相関係数を用いるのがよい。これに限らず、フーリエ変換等のテクスチャーを示す尺度を用いてもよい。
【００４０】
図１３は、テンプレートを設定する例のテンプレート設定領域420と探索範囲421を示す。テンプレートは、第２の道路領域に分類されている短冊番号W5の画像領域中に設定され、探索範囲421とテンプレートマッチングを行って、類似度の最大値が所定値を上回るか否かを判定する。この判定が済むと、テンプレートの設定領域を、図１３において右側にずらし、再度探索範囲421とテンプレートマッチングを行う。なお、テンプレートの設定領域を右側にずらす際に、前回の設定領域と所定範囲を被らせるようにしてもよい。
【００４１】
また、上記処理において、立体物のＸＺ平面上の位置（X, Z）を推定するには、例えば図１４に示されたように、射影変換行列を求める際に算出したＸＺ平面上の直線334と、テンプレート位置に対応する視線をＸＺ平面に投影した直線340との交点341の座標とするのがよい。ただし、短冊番号W4内の３次元距離データだけではなく、他の第1の道路領域に相当する短冊の３次元距離データもＸＺ平面に投影し、この投影データに当てはめた高次方程式と直線340との交点の座標としてもよい。
【００４２】
以上のようにして、道路境界検出部104と同一境界判断部105により、自車両の進行方向に存在する道路境界に相当する立体物の高さと位置を検出することができる。以上、実施例１は、左右２台のカメラを用いる形態であるが、２台を超える数のカメラがある場合では、その中の２台のカメラを組み合わせることにより、実施例１を拡張して適用することが可能である。
【００４３】
＜実施例２＞
次に、実施例２の道路境界検出判断装置について説明する。図１９は、実施例２の道路境界検出判断装置の構成を示すブロック図である。実施例２は、図１に示された実施例１の道路境界検出判断装置に対して、自車両110の運動情報を取得する運動情報取得部123と、移動軌跡を推定する移動軌跡推定部124、更に自車両110の道路からの逸脱を検知する道路境界逸脱判断部125と、運転者に警報を与える警報部が加わった構成である。以下、各部の詳細を説明する。
【００４４】
運動情報取得部123は、自車両110に搭載された車速センサ120、舵角センサ121、加速度・ヨーレートセンサ122の信号を取得する部であり、ＣＡＮ(Control Area Network)、FlexRayなどの通信プロトコルに則り、所定の時間間隔で信号の送受信を行う。ただし、本発明は、上記の通信プロトコルに制限されるものではなく、他の通信プロトコルを用いてもよい。
【００４５】
移動軌跡推定部124は、運動情報取得部123によって取得された自車両の車速、舵角、加速度・ヨーレートに基づいて、自車両の所定時間後までの移動軌跡を推定する部である。移動軌跡の推定には、自車両の車両ダイナミクスに基づく車両運動モデルを用いる。車両運動モデルを用いた移動軌跡の推定には、所定時間までの数値積分を行う必要があるが、各種センサの信号に含まれる計測誤差が蓄積して推定誤差が肥大化してしまうおそれがある。
【００４６】
これに対して、例えばＧＰＳ(Global Positioning System)から得られる位置情報を付加することにより、推定誤差の低減が可能である。推定される移動軌跡の位置情報は、図２に示されたＸ軸200、Ｙ軸201、Ｚ軸202からなる世界座標系におけるＸＺ平面上の点とする。なお、道路境界検出部104で推定された道路モデルに、移動軌跡を投影するようにしてもよい。また、本発明は、移動軌跡推定法に限定されるものではなく、他の推定法を用いてもよい。
【００４７】
本移動軌跡推定部124によって推定された移動軌跡の位置情報は、メモリに保存される。なお、メモリには、短冊毎に一つの移動軌跡の位置情報を保存してもよいし、所定時間毎の位置情報を保存してもよい。
【００４８】
道路境界逸脱判断部125は、移動軌跡推定部124で推定された移動軌跡の位置情報と、道路境界検出部104と同一境界判断部105とによって得られた左右道路境界に相当する立体物の位置情報とに基づいて、自車両が道路境界を逸脱するか否かを判断する部である。図２０は、逸脱判断を行う例を示す。移動軌跡推定部124で推定された移動軌跡316が道路境界検出部104と同一境界判断部105とによって検出及び推定された左側道路境界に相当する立体物315の位置を横切る様子を示している。
【００４９】
以下、図２０を参照して判断処理内容を説明する。まず、左右道路境界の立体物を横切る移動軌跡の位置318を推定する。それから、次式により、横切り位置318までの走行距離Lと車速vより、境界を横切るまでの横切り時間tcを算出する。
【００５０】
【数５】
【００５１】
さらに、横切り位置318の連続推定回数Ncをカウントする。この連続推定回数Ncは、運転者のハンドル操作による舵角の微小振動や、車速センサ120、加速度・ヨーレートセンサ122の出力信号に含まれるノイズによって移動軌跡が振動し、横切りの誤判断を低下する目的で設定する。
【００５２】
横切り時間tcが所定値より短く、連続推定回数Ncが所定値より大きい場合、自車両の道路逸脱の可能性が高いと判断する。なお、横切り時間tcに関する所定値は、所定の減速度で横切り位置までに停止するのに必要な時間と、運転者の障害物を認知・判断して回避又は制動操作を行う一連の動作にかかる時間の統計値に基づいて設定することが望ましい。こうして、道路境界逸脱判断部によって逸脱防止のための警報を出すか出さないかの判断がなされる。
【００５３】
警報部126は、道路境界逸脱判断部125の判断結果に基づいて、運転者に警報を出す部分である。警報としては、自車両に搭載されているスピーカを利用した警報音や警報ランプの点灯が望ましい。また、ハンドルを加振させるようにしてもよい。なお、本発明は、上記の警報の与え方に限定されるものではなく、他の方法を用いるようにしてもよい。
【００５４】
以上のとおり、実施例２は、運転者に道路逸脱警報を与えることにより、道路逸脱を未然に防ぐことが可能となる。
【図面の簡単な説明】
【００５５】
【図１】実施例１の道路境界検出判断装置のブロック図。
【図２】車両に搭載された左右カメラの配置と座標系。
【図３】図２に示された右カメラで進行方向を撮像した画像の一例。
【図４】車両に搭載された左右カメラで撮像した画像による３次元距離データをＸＺ平面へ投影した画像と、Z方向で所定間隔毎に区分された領域である短冊。
【図５】車両に搭載された左右カメラで撮像した画像による３次元距離データをＹＺ平面へ投影した画像と、Z方向で区分された領域である短冊。
【図６】短冊に含まれる３次元距離データの分布と検出された道路形状。
【図７】短冊に含まれる３次元距離データの分布と検出された道路境界に相当する立体物。
【図８】道路境界に相当する立体物の３次元位置距離データのＸＺ平面上の分布状況。
【図９】短冊番号と左右道路境界に相当する立体物の検出状況の一例。
【図１０】立体物の３次元位置データの重心と仮想視点のＸＺ平面上の位置。
【図１１】車両の右カメラから取得した画像の一例と、検出された道路境界に相当する立体物。
【図１２】図１１における左側の道路境界に相当する立体物の領域410を正面に見る画像に変換した画像の一例。
【図１３】テンプレートの設定領域とテンプレートマッチングの探索範囲。
【図１４】立体物の推定位置（Ｘ，Ｚ）を求める方法。
【図１５】実施例１の動作のフローチャートの一部。
【図１６】実施例１の動作のフローチャートの一部。
【図１７】実施例１の動作のフローチャートの一部。
【図１８】実施例１の動作のフローチャートの一部。
【図１９】実施例２の動作のフローチャートの一部。
【図２０】道路境界から逸脱するシーン。
【符号の説明】
【００５６】
100…左カメラ、101…右カメラ、102…画像取得部、103…距離データ取得部、104…道路境界検出部、105…同一境界判断部、110…自車両、120…車速センサ、121…舵角センサ、122…加速度・ヨーレートセンサ、123…運動情報取得部、124…移動軌跡推定部、125…道路境界逸脱判断部、126…警報部、
200…X軸、201…Ｙ軸、202…Ｚ軸、
300…３次元距離データ、301…短冊、305…短冊301に含まれる３次元距離データ、310…左側道路境界に相当する立体物データ、311…右側道路境界に相当する立体物データ、315…検出及び推定された左側道路境界に相当する立体物データ、316…短冊毎の自車両の移動軌跡位置、317…移動軌跡の点列、320…縁石、330…注視位置までの距離、331…仮想視点位置と注視位置との距離、332…注視位置、333…仮想視点位置、334…短冊W4に含まれる３次元距離データのＸＺ投影点に対する直線当てはめ結果、340…類似度が最大になるテンプレート位置に対応するＸＺ平面に投影した視線、341…立体物の推定位置、
400…道路形状、401…道路境界に相当する立体物、402…Y’軸、403…X’軸、410…右画面における左側道路境界に相当する立体物データ、411…右画面における右側道路境界に相当する立体物データ、420…テンプレート設定領域、421…探索範囲
【特許請求の範囲】
【請求項１】
自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、
前記道路領域を撮像する２台以上のカメラを有する画像取得部と、
前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、
前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、
前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、
前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする道路境界検出判断装置。
【請求項２】
請求項１に記載された道路境界検出判断装置において、
前記道路境界検出部は、前記３次元距離情報に基づいて前記自車両から前方に向かって所定間隔毎に道路形状を検出し、かかる検出された道路形状に対して前記所定間隔内の所定領域に高さが所定値以上の立体物が存在するかを判定し、該立体物が存在すると判定された場合、該立体物の３次元位置と高さを算出して前記所定領域を第１の道路領域に分類し、該立体物が存在しないと判定された場合には、前記所定領域を第２の道路領域に分類することを特徴とする道路境界検出判断装置。
【請求項３】
請求項２に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記道路境界検出部によって検出された第２の道路領域に分類された前記所定の領域の手前の第１の道路領域に分類された前記領域の境界に相当する立体物の３次元距離情報と前記道路形状とに基づいて前記画像を射影変換によって前記立体物を仮想的に正面から見た画像に変換することを特徴とする道路境界検出判断装置。
【請求項４】
請求項３に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記第１の道路領域に分類された領域の遠方側の画像位置に接する前記第２の道路領域に分類された領域の画像の所定領域をテンプレートとし、該テンプレートと前記第１の道路領域に分類された領域の境界に相当する立体物を含む所定領域内の画像との類似度を算出し、該類似度の最大値が所定値より高い場合、該類似度の最大となるテンプレート位置に対応する立体物が前記第２の道路領域に分類された前記領域に存在すると判断することを特徴とする道路境界検出判断装置。
【請求項５】
請求項４に記載された道路境界検出判断装置において、
前記類似度として、相関係数を用いることを特徴とする道路境界検出判断装置。
【請求項６】
請求項１から５のいずれか一つの請求項に記載された道路境界検出判断装置において、
前記自車両の運動情報を取得する運動情報取得部と、
前記運動情報取得部によって得られた運動情報に基づいて所定時間後までの前記自車両の移動軌跡を推定する移動軌跡推定部と、
前記推定された移動軌跡並びに前記道路境界検出部及び前記同一境界判断部によって検出された道路境界に相当する立体物との横切る位置を探索し、該横切る位置が存在する場合には該横切る位置までの距離と前記自車両の速度に基づいて運転者に警報を与える警報部と、を備えることを特徴とする道路境界検出判断装置。
【請求項１】
自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、
前記道路領域を撮像する２台以上のカメラを有する画像取得部と、
前記画像取得部によって得られた画像に基づいて撮像領域の３次元距離情報を取得する距離データ取得部と、
前記距離データ取得部によって得られた３次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、
前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第２の道路領域について、前記画像を変換して前記第１の道路領域の境界に相当する立体物及び第２の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、
前記同一境界判断部が前記第１及び第２の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第２の道路領域を第１の道路領域に再設定することを特徴とする道路境界検出判断装置。
【請求項２】
請求項１に記載された道路境界検出判断装置において、
前記道路境界検出部は、前記３次元距離情報に基づいて前記自車両から前方に向かって所定間隔毎に道路形状を検出し、かかる検出された道路形状に対して前記所定間隔内の所定領域に高さが所定値以上の立体物が存在するかを判定し、該立体物が存在すると判定された場合、該立体物の３次元位置と高さを算出して前記所定領域を第１の道路領域に分類し、該立体物が存在しないと判定された場合には、前記所定領域を第２の道路領域に分類することを特徴とする道路境界検出判断装置。
【請求項３】
請求項２に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記道路境界検出部によって検出された第２の道路領域に分類された前記所定の領域の手前の第１の道路領域に分類された前記領域の境界に相当する立体物の３次元距離情報と前記道路形状とに基づいて前記画像を射影変換によって前記立体物を仮想的に正面から見た画像に変換することを特徴とする道路境界検出判断装置。
【請求項４】
請求項３に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記第１の道路領域に分類された領域の遠方側の画像位置に接する前記第２の道路領域に分類された領域の画像の所定領域をテンプレートとし、該テンプレートと前記第１の道路領域に分類された領域の境界に相当する立体物を含む所定領域内の画像との類似度を算出し、該類似度の最大値が所定値より高い場合、該類似度の最大となるテンプレート位置に対応する立体物が前記第２の道路領域に分類された前記領域に存在すると判断することを特徴とする道路境界検出判断装置。
【請求項５】
請求項４に記載された道路境界検出判断装置において、
前記類似度として、相関係数を用いることを特徴とする道路境界検出判断装置。
【請求項６】
請求項１から５のいずれか一つの請求項に記載された道路境界検出判断装置において、
前記自車両の運動情報を取得する運動情報取得部と、
前記運動情報取得部によって得られた運動情報に基づいて所定時間後までの前記自車両の移動軌跡を推定する移動軌跡推定部と、
前記推定された移動軌跡並びに前記道路境界検出部及び前記同一境界判断部によって検出された道路境界に相当する立体物との横切る位置を探索し、該横切る位置が存在する場合には該横切る位置までの距離と前記自車両の速度に基づいて運転者に警報を与える警報部と、を備えることを特徴とする道路境界検出判断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−７２８０７（Ｐ２０１０−７２８０７Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３７８７８（Ｐ２００８−２３７８７８）
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]