自動走行用マップ作成装置、及び自動走行装置。
【課題】 誤差が少ないマップデータを作成する。
【解決手段】 自動走行用マップ作成装置1は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶部34と、計測機器を搭載した車両が道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合部30と、を備えている。
【解決手段】 自動走行用マップ作成装置1は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶部34と、計測機器を搭載した車両が道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合部30と、を備えている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動走行に利用されるマップを作成するための装置、及び自動走行装置に関する。
【背景技術】
【0002】
特許文献1,2には、計測装置を搭載した車両が実際に道路を走行することで、道路マップデータを作成する方法が記載されている。この方法では、道路の白線や端を検出し、そこまでの距離の計測値を記録して、道路マップデータを作成する。また、ビデオカメラで撮影した景観を重ね合わせて記録することも行われている。
【特許文献1】特開2000−338865号公報
【特許文献2】特開2003−329449号公報
【特許文献3】特開2002−98758号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、従来技術に係るマップデータの作成では、作成されたマップデータにGPS誤差やセンサ誤差などが含まれてしまう。また、従来技術に係るマップデータの作成では、道路に沿って駐車車両などの障害物が一時的に存在する場合に、その障害物を避けるために計測車両は迂回するため、障害物がある位置で採取されたマップデータには大きな誤差が含まれてしまう。上述したようにマップデータに大きな誤差が含まれてしまい、正確なマップデータを作成できない場合がある、という問題がある。
【0004】
そこで、本発明の目的は、誤差が少ないマップデータを作成することができるマップ作成装置を提供することである。
【0005】
また、本発明の他の目的は、精度よく自動走行を行うことができる自動走行装置を提供することである。
【課題を解決するための手段】
【0006】
上述した目的を達成するために、本発明に係る自動走行用マップ作成装置は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、を備えたことを特徴とする。
【0007】
この構成によれば、計測対象の位置データは、計測機器を搭載した車両が道路を走行するごとに得られている。そして、マップにおいて計測対象の位置データに対応する小領域には、計測対象の存在を示す重みが加算されている。よって、マップには、計測機器を搭載した車両が複数回走行することによる重みが反映されているため、このマップを利用することで計測機器による誤差や車両が障害物を回避することにより生じる誤差などを抑制したマップデータを作成することができる。
【0008】
上述した自動走行用マップ作成装置において、同一道路情報結合手段は、マップの多数の小領域に対応付けられた重みに基づいて、計測対象の位置を特定することが好ましい。この構成によれば、マップの多数の小領域に対応する重みに基づいて、計測対象の位置を特定するため、計測対象の位置誤差を少なくすることができる。
【0009】
また、上述した自動走行用マップ作成装置において、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることが好ましい。この構成によれば、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有しているため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。
【0010】
また、上述した自動走行用マップ作成装置において、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることが好ましい。この構成によれば、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であるため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。
【0011】
また、上述した自動走行用マップ作成装置において、計測対象は、車両の走行軌跡であることが好ましい。この構成によれば、車両の走行軌跡について誤差が少ないマップデータを作成することができる。
【0012】
また、上述した自動走行用マップ作成装置において、計測対象は、道路構成物であることが好ましい。この構成によれば、道路構成物について誤差が少ないマップデータを作成することができる。ここで、道路構成物とは、道路に沿って一般的に存在する物であり、白線、縁石、側溝、ガードレールなどである。
【0013】
上述した目的を達成するために、本発明に係る自動走行装置は、車両の位置を計測する位置検出手段と、車両周辺を撮影して、画像データを生成する撮像手段と、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して道路構成物の位置を算出する位置算出手段と、位置算出手段により算出された道路構成物の位置に基づいて、位置検出手段により計測された車両位置を補正する自車位置補正手段と、補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、を備えることを特徴とする。
【0014】
この構成によれば、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲が設定されるため、探索範囲は小さく且つ道路構成物を確実に含む。よって、このような探索範囲を処理して道路構成物の位置を算出することにより、道路構成物の位置の算出を迅速に行うことができ、また、道路構成物の誤検出を防止することができる。そして、算出された道路構成物の位置に基づいて、位置検出手段を利用して計測された車両位置が補正されるため、精度よく自動走行を行うことができる。
【0015】
上述した自動走行装置において、道路構成物の位置誤差は、ステレオ視による位置誤差、GPS電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも1つを含むことが好ましい。
【0016】
上述した自動走行装置において、自車位置補正手段は、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、位置検出手段により計測された車両位置を補正し、位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、位置検出手段により計測された車両位置の補正を禁止することが好ましい。この構成によれば、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合にのみ、位置検出手段により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。
【0017】
また、上述した自動走行装置において、撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、位置算出手段は、上側画像データ及び下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することが好ましい。この構成によれば、上側画像データ及び下側画像データから抽出された横方向エッジに基づいて、道路構成物又は障害物の位置を好適に算出することができる。
【0018】
また、上述した自動走行装置において、位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することが好ましい。この構成によれば、道路構成物又は障害物の種別によって横方向エッジの位置が異なることを利用して、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することができる。
【0019】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することが好ましい。この構成によれば、横方向エッジ間の領域の位置を利用することにより、より正確に道路構成物の種別を判定することができる。
【0020】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。
【0021】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。
【0022】
また、上述した自動走行装置において、撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、位置算出手段は、複数の画像データのうち撮影された領域が一部で重複している2つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することが好ましい。この構成によれば、ステレオ視されない領域における道路構成物の位置を好適に推定することができる。
【発明の効果】
【0023】
本発明によれば、誤差が少ないマップデータを作成することができる。また、本発明によれば、精度よく自動走行を行うことができる。
【発明を実施するための最良の形態】
【0024】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【0025】
[自動走行用マップ作成装置]
初めに、車両が自動走行時に用いるマップを作成するための自動走行用マップ作成装置の好適な実施形態について説明する。図1に示されるように、自動走行用マップ作成装置1は、撮像装置(撮像手段)10と、データ処理装置12と、車両の位置・方位・姿勢を検出する検出部14とで構成される。データ処理装置12は、物理的にはCPU,RAM,ROM等を含んで構成されており、機能的には、画像データ取込部16と、道路構成物認識部18と、位置算出部20と、最大誤差算出部22と、計測情報書き込み部24と、計測情報記憶部26と、同一道路情報抽出部28と、同一道路情報結合部30と、マップデータ書き込み部32と、マップデータベース34とを含んで構成されている。
【0026】
撮像装置10は、車両の周辺の道路を撮影して画像データを生成するものであり、本実施形態では2つのCCDカメラで構成される。2つのCCDカメラは、同じ方向に向けられており、互いに少し離れている。2つのCCDカメラが同時に撮影を行うことにより、車両周辺をステレオ視した2つの画像データが生成される。ここで、各CCDカメラにより生成される画像データは、複数の画素データを有するデータであって、夫々の画素データとして輝度データ及び色データを有するデータである。
【0027】
なお、撮像装置10は、1つのCCDカメラを用いて、車両周辺をステレオ視した2つの画像データを生成するように構成こともできる。この構成については、後に詳述する。また、撮像装置10は、1つのCCDカメラを用いて、モーションステレオ法により車両周辺をステレオ視した2つの画像データを生成してもよい。また、撮像装置10は、2つのミリ波レーダー、レーザレーダーなどで構成されてもよい。撮像装置にレーダーを用いた場合には、レーダーにより生成される画像データは、夫々の画素データとして、自車から被検知物までの距離データを有するものである。
【0028】
車両位置・方位・姿勢検出部14は、車両に取り付けられた複数種類のセンサで構成されている。(1)車両の位置を検出する手段として、GPS(Global Positioning System)装置が用いられている。GPS装置は、衛星からの信号を処理することで、後述する世界平面直角座標系における車両の位置を検出する。(2)車両の方位(進行方向)を検出する手段として、横加速度センサおよび操舵角センサが用いられている。横加速度センサは、車両の横方向に作用する加速度を検出する。操舵角センサは、ドライバにより操舵されたハンドルの角度を検出する。(3)車両の姿勢を検出する手段として、ロールセンサ、ピッチセンサ、ヨーセンサおよび車高センサが用いられている。ロールセンサは車両のロール角を検出し、ピッチセンサは車両のピッチ角を検出し、ヨーセンサは車両のヨー角を検出する。車高センサは、路面を基準とした車体の高さを検出する。
【0029】
データ処理装置12において、画像データ取込部16は、撮像装置10により生成された2つの画像データをデータ処理装置12内に取り込む処理を行う。道路構成物認識部18は、2つの画像データのそれぞれについて、白線、縁石、側溝、ガードレールなどの道路構成物を認識する処理を行う。具体的には、道路構成物認識部18は、画像データに対して、(1)Sobelフィルタ、Cannyフィルタなどを用いたエッジ抽出処理、(2)ハフ変換、最小自乗法などを用いた線分検出処理、(3)差分総和、正規化相関、ニューラルネットを用いたパターンマッチング処理などを行うことで、画像内にある道路構成物を認識する。
【0030】
位置算出部20は、2つの画像データにおける道路構成物の画素位置に基づいて、3次元座標系において道路構成物が存在する位置を算出する処理を行う。3次元座標系における道路構成物の位置の算出方法の概要を、図2を参照して説明する。図2には、左右のCCDカメラにより道路構成物を撮影する状況が示されている。左右のCCDカメラの光学中心間の距離である基線長はbであり、左右のCCDカメラは共に焦点距離をfとして画像データを生成する。左側の画像データILでは、画像上の2軸XL,YLを基準として、道路構成物の画素位置Pl(xl,yl)が特定される。一方、右側の画像データIRでは、画像上の2軸XR,YRを基準として、道路構成物の画素位置Pr(xr,yr)が特定される。位置算出部20は、これらの幾何学的関係に基づいて、撮像座標系における道路構成物が存在する位置P(Xps,Yps,Zps)を算出する。なお、撮像座標系とは、撮像装置10を基準とする座標系であって、左右の光学中心の中央を原点とし、3軸Xs,Ys,Zsによって座標を特定する座標系である。
【0031】
位置算出部20は、具体的には、次の数式(1)に従って、道路構成物が存在する位置P(Xps,Yps,Zps)を算出する。
【数1】
【0032】
次に、位置算出部20は、撮像座標系における道路構成物の位置P(Xps,Yps,Zps)を、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)に変換し、さらに車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)に変換する処理を行う。図3に示されるように、車両座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、撮像座標系の3軸Xs,Ys,Zsと平行な3軸Xc,Yc,Zcによって座標を特定する座標系である。車両座標系の原点は、撮像座標系の原点に対して、各軸Xs,Ys,Zsに沿ってax,ay,azだけ離れている。また、車両改座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、水平面内にあって車両側方に延びるXf軸、水平面内にあって車両前方に延びるYf軸、および鉛直に延びるZf軸によって座標を特定する座標系である。なお、車両座標系の軸Xc,Ycのそれぞれを水平面に投影すると、車両改座標系の軸Xf,Yfに一致する。車両座標系の軸Xcは、車両改座標系の軸Xfに対してロール方向に角度φだけ傾斜しており、車両座標系の軸Ycは、車両改座標系の軸Yfに対してピッチ方向に角度ρだけ傾斜している。
【0033】
位置算出部20は、具体的には、次の数式(2)に従って、撮像座標系における道路構成物の位置P(Xps,Yps,Zps)を、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)に変換する。また、位置算出部20は、次の数式(3)に従って、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)を、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)に変換する
【0034】
【数2】
【0035】
【数3】
【0036】
次に、位置算出部20は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)を、世界平面直角座標系における道路構成物の位置P(φom,λom)に変換するとともに、世界平面座標系における道路構成物の位置P(Xcg,Ycg,Zcg)に変換する処理を行う。ここで、世界平面直角座標系とは、図4に示されるように、地球の中心を基準として、緯度φ、経度λに2軸が設定された座標系である。世界平面直角座標系における道路構成物の位置P(φom,λom)は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)と、GPS装置により得られる車両Cの位置データとから算出される。また、世界平面座標系とは、図5に示されるように、地表のある位置に基準点Owが設定され、南北Xg、東西Yg及び標高に3軸が設定された座標系である。世界平面直角座標系における道路構成物の位置P(Xcg,Ycg,Zcg)は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)と、GPS装置により得られる車両Cの位置データとから算出される。
【0037】
最大誤差算出部22は、GPS電波の受信状態から、車両の計測位置に含まれると推定される最大誤差を計算する。ここで、GPS電波の受信状態に起因する誤差Egは、市販のGPS装置で計測精度のデータを出力するものがあるので、そのデータを使用すればよい。また、最大誤差算出部22は、カメラ距離分解能、GPS電波の受信状態などから、位置算出部により算出された道路構成物の位置データに含まれると推定される最大誤差を計算する。図6には、最大誤差算出部22により算出される最大誤差の一例が示されている。最大誤差を示す曲線Errは、次の数式(4)に従って、カメラ距離分解能に起因する誤差Ec(D)と、GPS電波の受信状態に起因する誤差Egとを足し合わせることで算出される。
【0038】
【数4】
【0039】
カメラ距離分解能に起因する誤差Ec(D)は、画角、画素数、基線長、カメラから道路構成物までの距離Dに基づいて算出することができ、カメラから道路構成物までの距離Dが増加するほど小さくなる。図6において黒丸で示す位置誤差の実測値は、最大誤差算出部22により算出された最大誤差より小さくなっていることがわかる。なお、本実施形態では、カメラ距離分解能に起因する誤差Ec(D)、GPS電波の受信状態に起因する誤差Egのみを考慮したが、横加速度検出センサ、操舵角検出センサ、ロールセンサ、ピッチセンサ、ヨーセンサ、車高センサなどの誤差を考慮すれば、より正確な推定最大誤差を算出できる。
【0040】
計測情報書き込み部24は、上述した演算により求められた車両及び道路構成物に関する情報を計測情報記憶部26に書き込む。ここで、車両に関する情報を下の表1に示し、道路構成物に関する情報を下の表2に示す。
【0041】
【表1】
【0042】
【表2】
【0043】
なお、上の表2において、道路構成物の種別IDとは、種別の異なる道路構成物を区別するための識別情報である。例えば、白線には「1」が対応付けられ、側溝には「2」が対応付けられ、ガードレールには「3」が対応付けられる。また、ラベルIDとは、同じ種別の道路構成物が複数ある場合に、道路構成物を個体ごとに区別するための識別情報である。例えば、白線が2本ある場合には、第1の白線には「1−1」が対応付けられ、第2の白線には「1−2」が対応付けられる。
【0044】
また、上の表2では、道路構成物に関する情報は、図7(a)に概念的に示されるように、多数の点が一列に並んだ点列である。但し、計測情報書き込み部24は、図7(b)に概念的に示されるように、道路構成物の点列の情報に代えて、道路構成物の線情報を計測情報記憶部26に書き込んでもよい。道路構成物の線情報を下の表3に示す。
【0045】
【表3】
【0046】
同一道路情報抽出部28は、計測情報記憶部26に記憶された車両情報及び道路構成物情報の中から、同一の道路について作成された車両情報及び道路構成物情報を検索して抽出する。ここで、抽出される上記情報は、同じ車両が同じ道路を複数回走行することにより得られる情報であったり、異なる車両が同じ道路を走行することにより得られる情報である。
【0047】
同一道路情報結合部30は、同一道路情報抽出部28により抽出された車両情報及び道路構成物情報に基づいて、車両の目標走行軌跡を算出すると共に、道路構成物の位置を算出する処理を行う。以下に、同一道路情報結合部30による目標走行軌跡を算出する処理について説明してから、道路構成物の位置を算出する処理について説明する。
【0048】
同一道路情報結合部30は、同一道路情報抽出部28により抽出された車両情報のそれぞれに基づいて、走行軌跡マップを生成する処理を行う。ここで、走行軌跡マップとは、道路に沿った領域を南北方向及び東西方向に所定間隔ごとに細かく分割することにより、略正方形の多数の小領域が2次元配列されたマップである。走行軌跡マップでは、各小領域ごとに、走行軌跡の存在確率を示す重みが対応付けられている。
【0049】
同一道路情報結合部30は、走行軌跡マップを生成するために、先ず、図8に示されるように、車両位置の一連の計測点の間を、直線やペジェ曲線などで補間して、連続した走行軌跡を求める。同一道路情報結合部30は、次に、走行軌跡に対して重み付けを行う。ここで、走行軌跡に対する重み付けは、図9に示されるように正規分布を用いて行われる。図9では、走行軌跡が紙面に垂直に延びており、水平方向の位置が軸uで表されており、重みの大きさが軸Gで表されている。
【0050】
正規分布を用いた重み付けの式は、次の数式(5)で表される。
【数5】
ここで、σは正規分布の幅を決めるための変数であり、車両位置について推定される最大誤差Errを考慮して決定される。例えば、σ=Err/3 と設定される。
【0051】
図8に示される走行軌跡に対して上の数式(5)を用いて重み付けを行うことにより、図10に示される重み付き走行軌跡が算出される。なお、走行軌跡に対する重み付けは、図11に示されるように、走行軌跡上で重みが最大となり、走行軌跡からの離間距離に比例して直線的に重みが減少するように設定されてもよい。
【0052】
図12(a)〜(d)には、マップ作成装置を搭載した車両が同一経路を4回走行して得られる走行軌跡マップの画像データが示されている。ここで、走行軌跡マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、走行軌跡マップとして、走行軌跡に重み付けをしたマップを生成しているが、走行軌跡に重み付けしないマップを生成してもよい。即ち、走行軌跡が通過する小領域に一定値(例えば1.0)を付与することにより、走行軌跡マップを生成してもよい。
【0053】
次に、同一道路情報結合部30は、上述したように走行軌跡マップを生成するごとに、走行軌跡マップを走行軌跡重み加算マップに加算して、走行軌跡重み加算マップを書き換える処理を行う。ここで、走行軌跡重み加算マップとは、走行軌跡マップと同様に、2次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。
【0054】
走行軌跡重み加算マップの書き換え処理の具体例を説明する。図12(a)〜(d)の走行軌跡マップにおいて、図12(a),図12(c)及び図12(d)の走行軌跡マップはほぼ同じ形状となっているが、図12(b)の走行軌跡マップのみ異なる形状となっている。図12(b)の走行軌跡マップに関しては、マップ作成装置を搭載した車両が、道路を走行している際に他の車両や障害物を避けたことなどが推測される。これらの走行軌跡マップが、走行軌跡重み加算マップに加算された結果が、図13に示されている。図13の走行軌跡マップでは、多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。
【0055】
次に、同一道路情報結合部30は、走行軌跡重み加算マップにおいて、重み加算値が予め設定された重み閾値Th1よりも大きい領域と、重み加算値が重み閾値Th1よりも小さい領域とに2値化する。例えば、図14(a)に示される走行軌跡重み加算マップを2値化すると、図14(b)に示されるように変換される。図14(b)では、白領域において重み加算値が予め設定された重み閾値Th1よりも大きく、黒領域において重み加算値が予め設定された重み閾値Th1よりも小さい。
【0056】
次に、同一道路情報結合部30は、図14(c)に示されるように、領域Rの端部における白領域の中心位置を、領域R内での目標走行軌跡の第1位置として求める。また、同一道路情報結合部30は、第1位置付近における車両方位角度(表1参照)の平均値を算出することで、第1進行方向を求める。そして、同一道路情報結合部30は、図14(d)に示されるように、目標走行軌跡の第1位置から車両進行方向に一定の距離だけ進んだ位置を求め、その位置を通過するとともに第1の進行方向に直交する線分上における白領域の中心位置を、目標走行軌跡の第2位置として求める。また、同一道路情報結合部30は、第2位置付近における車両方位角度の平均値を算出することで、第2進行方向を求める。同一道路情報結合部30は、それ以降も同様な処理を行うことで、図14(e)に示されるように、目標走行軌跡の一連の位置(第3位置,第4位置,第5位置,・・・)及び一連の進行方向(第3進行方向,第4進行方向,第5進行方向,・・・)を算出する。
【0057】
次に、同一道路情報結合部30による道路構成物の位置を算出する処理について説明する。同一道路情報結合部30は、同一道路情報抽出部28により抽出された道路構成物情報に基づいて、道路構成物マップを生成する処理を行う。ここで、道路構成物マップとは、走行軌跡マップと同様に、2次元配列された多数の小領域からなるマップである。道路構成物マップでは、各小領域ごとに、道路構成物の存在確率を示す重みが対応付けられている。
【0058】
同一道路情報結合部30は、道路構成物マップを生成するために、先ず、道路構成物の一連の計測点の間を直線やペジェ曲線などで補間してから、道路構成物の一連の計測点を結ぶ直線又は曲線に重み付けを行う。ここでは、上述した走行軌跡への重み付けと同様に、道路構成物の計測点を結ぶ線に重み付けを行えばよい。
【0059】
図15(a)〜(e)には、車両が道路を走行している際に、各位置で計測される道路構成物(側溝)のマップが示されている。車両が道路を走行している際には、撮像装置10により撮影される道路構成物の範囲は限られているため、図15(a)〜(e)のそれぞれでは、道路構成物(側溝)の一部のみが検出されている。これらの道路構成物の部分的なマップを互いに加算することにより、図16に示されるように道路構成物マップを完成する。
【0060】
図17(a)〜(d)には、マップ作成装置を搭載した車両が同一経路を4回走行して得られる道路構成物マップの画像データが示されている。ここで、道路構成物マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、道路構成物マップとして、道路構成物に重み付けをしたマップを生成しているが、道路構成物に重み付けしないマップを生成してもよい。即ち、道路構成物が通過する小領域に一定値(例えば1.0)を付与することにより、道路構成物マップを生成してもよい。
【0061】
次に、同一道路情報結合部30は、上述したように道路構成物マップを生成するごとに、道路構成物マップを道路構成物重み加算マップに加算して、道路構成物重み加算マップを書き換える処理を行う。ここで、道路構成物重み加算マップとは、道路構成物マップと同様に、2次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。
【0062】
道路構成物重み加算マップの書き換え処理の具体例を説明する。これらの道路構成物マップが、道路構成物重み加算マップに加算された結果が、図18に示されている。図18の道路構成物重み加算マップでは、車両により多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。
【0063】
次に、同一道路情報結合部30は、道路構成物重み加算マップにおいて、重み加算値が予め設定された重み閾値Th2よりも大きい領域と、重み加算値が重み閾値Th2よりも小さい領域とに2値化する。次に、同一道路情報結合部30は、目標走行軌跡の一連の位置を求めたのと同じ手法で、道路構成物の一連(第1,第2,第3,・・・)の存在位置を算出し、目標走行軌跡の一連の進行方向を求めたのと同じ手法で、道路構成物の一連(第1,第2,第3,・・・)の延在方向を算出する。道路構成物の存在位置及び延在方向を求めた結果が、図19に示されている。同一道路情報結合部30は、図20に示されるように、上述した道路構成物重み加算マップを、白線、側溝、縁石、ガードレールなどの種別ごとに作成する。
【0064】
マップデータ書き込み部32は、目標走行軌跡及び道路構成物の情報を、自動走行用マップのフォーマットに変換してから、マップデータベース34に記憶する。自動走行用マップのフォーマットを、次の表4に示す。なお、次の表4に示される情報は、目標走行軌跡の1点に対応している。
【0065】
【表4】
【0066】
上の表4に示されるのは、目標走行軌跡の1点に対応して記憶されるデータ群であり、マップデータベース34には、このようなデータ群が目標走行軌跡の各点ごとに記憶されている。目標走行軌跡の各点は50cm周期であり、50cm周期の各点に対応して上の表4のデータ群が記憶される。
【0067】
図21に示されるように、白線、側溝、縁石、ガードレール等の道路構成物がある場合に、目標走行軌跡からその道路構成物までの距離が最短となる線分を想定する。ここで、その線分の長さが距離Lであり、目標走行軌跡と線分との角度が存在方向β1であり、道路構成物の延在方向と線分との角度が姿勢角β2である。また、推測最大位置誤差とは、カメラ距離分解能、画像取得時のGPS電波受信状態などを原因とする誤差であり、図22に示される道路構成物の重み加算マップにおいて、所定閾値より重みが大きい領域を白とし、所定閾値より重みが小さい領域を黒としたときに、帯状の白領域の幅Wを2分の1とすることで演算される。
【0068】
次に、図23のフローチャートを参照して、上述した自動走行用マップ作成装置の処理の流れについて説明する。先ず、データ処理装置12は、撮像装置10により生成された画像データを取り込む(S101)。次に、データ処理装置12は、画像データを処理して道路構成物の認識処理を行う(S102)。次に、データ処理装置12は、車両の位置、方位、姿勢の計測データを取り込む(S103)。次に、データ処理装置12は、道路構成物の位置を算出する(S104)。次に、データ処理装置12は、カメラ距離分解能、GPS電波受信状態などから、車両及び道路構成物の位置について推定される最大の誤差を算出する(S105)。
【0069】
次に、データ処理装置12は、車両及び道路構成物に関する情報を、計測点情報記憶部に書き込む(S106)。次に、データ処理装置は、車両に関する情報に基づいて、走行軌跡マップを作成し、さらに走行軌跡重み加算マップを作成する。同様に、データ処理装置は、道路構成物に関する情報に基づいて、道路構成物マップを作成し、さらに道路構成物重み加算マップを作成する(S107)。そして、データ処理装置12は、地図データベースに記憶されている目標走行軌跡及び道路構成物位置の情報を更新するか否かを決定する(S108)。ここで、地図データベースを更新する場合にはS109に進み、一方、地図データベースを更新しない場合にはS101に戻る。
【0070】
データ処理装置12は、走行軌跡重み加算マップを所定閾値Th1で2値化し、目標走行軌跡算出する(S109)。また、データ処理装置12は、道路構成物重み加算マップを所定閾値Th2で2値化し、道路構成物の存在位置を演算する(S110)。そして、データ処理装置12は、目標走行軌跡及び道路構成物の存在位置の情報を、自動走行用マップのフォーマットに変換してから、地図データベースに記憶する(S111,S112)。最後に、データ処理装置12は、処理を終了するか否かを決定する。ここで、処理を終了しない場合にはS101に戻る。
【0071】
[自動走行装置]
次に、上述した自動走行用マップを利用する自動走行装置3を搭載した車両について説明する。図24に示されるように、自動走行装置3は、撮像装置(撮像手段)40と、データ処理装置42と、車両の位置・方位・姿勢を検出する検出部44とで構成される。データ処理装置42は、物理的にはCPU,RAM,ROM等を含んで構成されており、機能的には、マップデータベース46と、画像データ取込部48と、道路構成物位置算出部(第1の位置算出部)50と、探索距離設定部52と、画像内位置推定部56と、誤差影響算出部58と、最小探索枠設定部60と、認識対象物種別設定部62と、対象物認識部(第2の位置算出部)64と、自車位置補正部66と、制御指令出力部68とを含んで構成されている。
【0072】
自動走行装置3において撮像装置40及び車両位置・方位・姿勢検出部44は、マップ作成装置1の撮像装置10及び車両位置・方位・姿勢検出部14と同じものであるため、説明を省略する。同様に、自動走行装置3において画像データ取込部48は、マップ作成装置1の画像データ取込部16と同じものであるため、説明を省略する。また、マップデータベース46には、マップ作成装置1により作成された自動走行用のマップデータが記憶されている。
【0073】
道路構成物位置算出部(第1の位置算出部)50は、GPS装置により得られる車両の位置データを取り込む。また、道路構成物位置算出部50は、マップデータベース46に記憶された目標走行軌跡のデータの中から、車両の位置データに最も近接する点に関するデータ(表4参照)を抽出して取り込む。そして、道路構成物位置算出部50は、取り込まれたデータを利用して、車両から目標走行軌跡の点までの相対位置を求め、さらにこの相対位置に、目標走行軌跡の点から道路構成物までの相対位置を加えることで、車両座標系における道路構成物の位置を算出する。ここで算出された道路構成物の相対位置には、GPS装置による計測誤差が含まれている。
【0074】
また、道路構成物位置算出部50は、探索距離設定部52から探索距離データを取り込んで、道路構成物の相対位置とその探索距離を比較して、その探索距離内にある道路構成物の相対位置のみを保持し、探索距離外にある道路構成物の相対位置を破棄する。なお、探索距離設定部52は、道路構成物の探索距離を決定する処理を行うものである。ここで、探索距離は、常に一定の距離が設定されてもよいし、車両の状況に応じて変化する距離が設定されてもよい。
【0075】
画像内位置推定部56は、道路構成物の画像内における位置を推定する処理を行う。この処理を行うために、画像内位置推定部56は、道路構成物位置算出部50と同様に、車両の位置データに最も近接する点に関するデータを抽出して取り込む。そして、画像内位置推定部56は、目標走行軌跡の点に関するデータから、世界平面直角座標系における道路構成物の位置データ(Xpg,Ypg,Zpg)を算出する。道路構成物の位置データは、次の数式(6)に従って算出される。
【0076】
【数6】
【0077】
次に、画像内位置推定部56は、次の数式(7)に従って、世界平面直角座標系における位置データ(Xpg,Ypg,Zpg)を、撮像座標系における位置データ(Xps,Yps,Zps)へ変換する。
【0078】
【数7】
【0079】
次に、画像内位置推定部56は、下の数式(8)に従って、撮像座標系における位置データ(Xps,Yps,Zps)を、左のカメラにより撮影された画像内の画素位置(XL,YL)へ変換する。また、画像内位置推定部56は、下の数式(9)に従って、撮像装置40座標系における位置データ(Xps,Yps,Zps)を、右のカメラにより撮影された画像内の画素位置(XR,YR)へ変換する。
【0080】
【数8】
【数9】
ここで、P1、P2、H1、H2は、ステレオカメラのキャリブレーションで導出されるカメラパラメータである。
【0081】
誤差影響算出部58は、抽出された道路構成物について、ステレオ視による位置誤差、GPS装置の位置誤差などの各種位置誤差の総和を算出する処理を行う。具体的には、誤差影響算出部58は、次の数式(10)の演算を行う。なお、位置誤差の種類は、下の表5に示されている。
【0082】
【数10】
【0083】
【表5】
【0084】
ステレオ視による位置誤差は、次の数式(11)により算出される。ステレオ視による位置誤差は、自車から道路構成物まで距離Dsの関数となっている。
【数11】
【0085】
GPS電波の受信状態に起因する位置誤差Px,Py,Pzは、市販のGPS装置で計測精度のデータを出力するものがあるので、その計測精度のデータに基づいて算出すればよい。
【0086】
方位角誤差(車両の方向の誤差のうち水平面内の成分)Aeに起因する位置誤差Hdは、次の数式(12)に従って算出される。方位角誤差AeはX軸方向だけに影響するため、位置誤差HdはX軸方向にのみ生じる。方位角誤差の最大値Aeは既知(例えば0.05°)であるため、位置誤差Hdは道路構成物までの距離Dsの関数となる。
【数12】
【0087】
ピッチ角誤差(車両の方向の誤差のうち垂直な成分)Peに起因する位置誤差Ptは、次の数式(13)に従って算出される。ピッチ角誤差PtはZ軸方向だけに影響するため、位置誤差PtはZ軸方向にのみ生じる。ピッチ角誤差の最大値Ptは既知(例えば0.05°)であるため、位置誤差Ptは道路構成物までの距離Dsの関数となる。
【数13】
【0088】
データ処理装置42内でのデータ通信の遅れに起因する位置誤差Cmは、厳密には車速や角速度などの関数となる値であるが、今回の処理では一定値(例えば100mm)として取り扱っている。
【0089】
マップデータベース46作成時の位置誤差は、マップデータベース46に記憶される推定最大位置誤差Err_W,Err_L及びErr_h(表4参照)を利用している。ここで、道路構成物が存在する方向にカメラの視線が向いている場合には、X軸にErr_Wを対応させ、Y軸にErr_Lを対応させ、Z軸にErr_hを対応させればよい。但し、道路構成物が存在する方向にカメラの視線が向いていない場合には、位置誤差を推定最大位置誤差Err_W,Err_L及びErr_hに基づいてX軸,Y軸及びZ軸の位置誤差を算出すればよい。
【0090】
最小探索枠設定部60は、左右のカメラにより撮影された画像において、各道路構成物を探索するための枠を設定する処理を行う。図25に示されるように、各軸方向の位置誤差積算値ΣerrX,ΣerrY,ΣerrZを考慮して、画像内位置推定部56により算出された道路構成物(縁石)の画素位置(XL,YL),(XR,YR)に対して適切な余裕しろを付与する。具体的には、道路構成物を中心として、X軸方向にΣerrX×2、Y軸方向にΣerrY×2、Z軸方向にΣerrZ×2の立方空間を想定し、この立方空間が画像に投影される範囲を、探索枠として設定する。なお、最小探索枠設定部60は、複数の道路構成物が存在する場合には、道路構成物ごとに探索枠を設定する。
【0091】
認識対象物種別設定部62は、認識対象となる道路構成物の種別を設定する処理を行う。ここで、認識対象物種別設定部62は、最小探索枠設定部60により設定された複数の探索枠の中から、既述の道路構成物位置算出部50により探索距離内にあるものとして判定された道路構成物の探索枠のみを設定する。
【0092】
対象物認識部(第2の位置算出部)64は、左右の画像に設定された探索枠の範囲内で、認識対象の道路構成物をエッジ抽出やパターン認識技術を用いて検出し、左側の画像データにおける道路構成物の画素位置Pl(xl,yl)と、右側の画像データにおける道路構成物の画素位置Pr(xr,yr)を求める。対象物認識部64は、これらの画素位置Pl,Prに基づいて、撮像座標系における道路構成物が存在する位置P(Xps,Yps,Zps)を算出し、最終的にはこの位置P(Xps,Yps,Zps)を車両改座標系における存在位置P(Xpf,Ypf,Zpf)に変換する。ここで算出された道路構成物の相対位置には、GPS装置による計測誤差が含まれていない。
【0093】
自車位置補正部66は、既述の道路構成物位置算出部50により算出された道路構成物の位置データ、及び対象物認識部64により認識された道路構成物の位置データに基づいて、GPS装置により検出される自車の位置データを補正する処理を行う。この処理を、図26を参照して説明する。
【0094】
自車位置補正部66は、これまでの処理によって、自車の位置データPg、目標走行軌跡の点の位置データPt、地図データベースに目標走行軌跡と共に記憶された道路構成物の位置データPm及び延在方向のデータβ2を把握している。自車位置補正部66は、目標走行軌跡の点Ptから道路構成物Pmまでの直線L1を想定し、この直線L1と、対象物認識部64により検出された道路構成物Qとの交差位置Pnを算出する。そして、自車位置補正部66は、GPSによる道路構成物の位置Pmと、画像認識による道路構成物の位置Pnとの差分ΔLを算出する。また、自車位置補正部66は、直線L1と道路構成物Qとが成す角度β3を算出する。
【0095】
自車位置補正部66は、位置データベースに記憶された道路構成物Pmの延在方向β2と、対象物認識部64により算出された道路構成物の延在方向β3の差分の絶対値|β2−β3|を算出して、この絶対値が予め設定された閾値より大きいか否かを判定する。ここで、絶対値が閾値より小さい場合には、検出状況が正常であるため、続いて自車位置の補正処理を行う。一方、絶対値が閾値より大きい場合には、検出状況が異常であるため、自車位置の補正処理を行わずに処理を終了する。
【0096】
絶対値が閾値より小さい場合には、自車位置補正部66は、図27に示されるように、実測自車位置Pgから存在方向に延びる直線L1に垂線を下ろしたときに、その直線L1と垂線とが交差する位置を算出し、さらに、存在方向に延びる直線L1上で、この交差位置から差分ΔLだけ移動された点Prの位置を算出する。この点Prの位置が、補正後の自車位置とされる。これにより、GPS装置による計測誤差が補正される。
【0097】
なお、GPS装置の計測誤差が、破線にて示される円Eの範囲内にあるときには、上述したように自車位置を点Prに補正すると、自車の位置データは過剰に補正されてしまうこととなる。このような事態を回避するために、点PrがGPS装置の計測誤差Pの範囲外にあるときには、直線L1と円Eとの交点Puの位置を、補正後の自車位置として算出する。
【0098】
また、自車位置補正部66は、GPS装置の計測誤差が所定閾値より大きい場合に、GPS装置により計測された車両位置を補正し、GPS装置の計測誤差が所定閾値より小さいときに、GPS装置により計測された車両位置の補正を禁止してもよい。この構成によれば、GPS装置の計測誤差が所定閾値より大きい場合にのみ、GPS装置により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。
【0099】
制御指令出力部68は、補正後の自車位置Prが、目標走行軌跡上の点(Pt+1,Pt+2,Pt+3,・・・)に調節されるように、車両の速度、操舵角等を制御するための指令を出力する。なお、NOxの濃度分布マップを記憶しておき、NOxが多い地区では、制御指令出力部68が自動的にエンジン駆動からモータ駆動に切り替えてもよい。
【0100】
次に、図28のフローチャートを参照して、自動走行装置3の処理の流れについて説明する。データ処理装置42は、撮像装置40により生成された画像データを取り込む(S201)。次に、データ処理装置42は、車両の位置、方位、姿勢の計測データを取り込む(S202)。次に、データ処理装置42は、マップデータベース46から目標走行軌跡の情報を取り込み、目標走行軌跡を規定する多数の点の中から、計測された車両位置に最も近い点のデータを抽出する(S203)。次に、データ処理装置42は、GPS装置による車両位置の計測データ、及び目標走行軌跡の最も近接した点のデータに基づいて、車両座標系における道路構成物の相対位置を算出する(S204)。
【0101】
次に、データ処理装置42は、左右のカメラにより撮影された画像データにおいて、道路構成物が存在し得る画素範囲を、探索範囲として算出する(S205)。データ処理装置42は、左右の画像データの探索範囲から道路構成物の検出し、車両座標系における道路構成物の相対位置を算出する(S206)。データ処理装置42は、ステップ204で算出された道路構成物の相対位置と、ステップ206で算出された道路構成物の相対位置とを比較して、自車位置を補正する(S207)。データ処理装置42は、補正後の自車位置に基づいて、自車が目標走行軌跡を走行するように制御値を決定し、制御を実行する(S208)。データ処理装置42は、上述した処理を終了するか否かを決定する。ここで、処理を終了しない場合にはS201に戻る(S209)。
【0102】
[道路構成物の認識方法の改良]
次に、上述した実施形態に係る自動走行用マップ作成装置1及び自動走行装置3において、車両に取り付けられる撮像装置10,40の改良された構造、及びこの撮像装置10,40により撮影された画像データから道路構成物を検出する方法について説明する。
【0103】
図29に示されるように、撮像装置10,40は、1個のCCDカメラ70にステレオレンズユニット72が取り付けられて構成されている。ステレオレンズユニット72には、2つのレンズ74H,74Lが50mm程度上下に離して配置されている。上側のレンズ74Hにより集光された光束は、2枚のミラー76H1,76H2により反射されてCCDカメラ70に至る。同様に、下側のレンズ74Lにより集光された光束は、2枚のミラー76L1,76L2により反射されてCCDカメラ70に至る。撮像装置10,40は、撮像対象Oをステレオ視した2つの画像部分を含む1つの画像データIを生成して、この画像データIをデータ処理装置12,42に向けて出力する。このように撮像装置10,40を構成することにより、画像データIを画像処理に適したものとすることができ、また、撮像装置10,40の低価格化したり、小型化することができる。
【0104】
上述した撮像装置10,40は、図30(a)に示されるように、車両のサイドミラーの位置に取り付けられる。撮像装置10,40のカメラ視線方向を斜め下方に向けることにより、車両の側方にある白線、側溝、ガイドレール、並走車両等を検出可能である。なお、視野が広角のレンズを選択することにより、図30(b)に示されるように、車両の側方を全範囲(180°)に渡って撮像可能とすることが好ましい。
【0105】
次に、図31のフローチャートを参照しつつ、データ処理装置12,42による処理の流れを説明する。図31のフローチャートに示される処理は、マップ作成装置1の道路構成物認識部18、及び自動走行装置3の対象物認識部64で行われる処理である。
【0106】
先ず、データ処理装置12,42は、撮像装置10,40により撮像された画像データを取得する(S301)。取得される画像データの一例を、図32(a)に示す。データ処理装置12,42は、画像データから横方向エッジを抽出して、図32(b)に示される結果を得る(S302)。次に、データ処理装置12,42は、道路構成物の認識処理を行うべき探索範囲を算出する(S303)。ここで行われる探索範囲の導出は、図28のフローチャートを参照して説明したステップ202からステップ205までと同じ処理である。
【0107】
次に、データ処理装置12,42は、図32(c)に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置12,42は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から同一の道路構成物に対応する交点を求める(S304)。これにより、図32(c)に示されるように、上側画像部分のガイドレールに対応する交点と、下側画像部分のガイドレールに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、上側画像部分の側溝に対応する交点と、下側画像部分の側溝に対応する交点とが、互いに対応関係にある一対の交点として求められる。
【0108】
次に、データ処理装置12,42は、互いに対応関係にある一対の交点から、車両座標系における交点の3次元位置を算出する(S305)。図33に示されるように、横方向エッジは車両の前後方向に沿って延びており、矢印Aに従って車両の前方から見ると、交点は図34に示されるように車両の側方の位置にある。
【0109】
次に、データ処理装置12,42は、道路構成物(白線、縁石、ガードレール、側溝、道路境界など)の種別を判定する処理を行う。ここで、データ処理装置12,42は、自車が載っている平面より予め設定された閾値Th1以上の高さを持つ交点に関しては、道路構成物の種別がガイドレール等の障害物であることを判定する。但し、自車が載っている平面より所定閾値Th1以内の高さを持つ交点に関しては、道路構成物の種別が不明である。そこで、データ処理装置12,42は以下の処理を行う。
【0110】
データ処理装置12,42は、図35(a)に示されるように、上側画像部分及び下側画像部分のそれぞれにおいて互いに対応関係にある2点を含んでいる矩形の範囲RH,RLを設定し、図35(b)に示されるように、さらにこれらの矩形の範囲RH,RLにおいて2点D1,D2間に複数の小領域SR1,SR2,SR3を設定する。ここで、複数の小領域を設定する際に正規化相関や差分総和などのパターンマッチング処理を行うことにより、上側画像部分の小領域は、下側画像部分の小領域に対して相関値が高くなる位置に設定されている。なお、複数の小領域は、互いに重なるように設定されてもよい。
【0111】
次に、データ処理装置12,42は、上側画像部分の小領域の画素位置、及びそれに対応する下側画像部分の小領域の画素位置に基づいて、車両座標系における小領域の3次元位置を算出する。データ処理装置12,42は、図36(a)に示されるように、小領域の3次元位置が、自車が載っている平面から閾値Th2より低い場合には、道路構成物が側溝であることを判定する。一方、データ処理装置12,42は、図36(b)に示されるように、小領域の3次元位置が、自車が載っている平面から閾値Th2の範囲内にある場合、道路構成物が白線、道路の模様等であることを判定する。
【0112】
なお、上述した道路構成物の認識処理では、データ処理装置12,42は、小領域の3次元位置が自車が載っている平面から閾値Th2より低い場合に、道路構成物を側溝であることを判定したが、データ処理装置は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物が側溝であることを判定してもよい。
【0113】
また、データ処理装置12,42は、自車C1の側方で並走している並走車両C2がある場合には、その並走車両C2の存在を判定する処理を行う。並走車両C2は、図37に示されるように撮像装置10,40の視野に入るため、並走車両C2が自車C1の真横にある場合には、図38に示される枠内を撮影した画像データが得られる。
【0114】
データ処理装置12,42は、撮像装置10,40により撮像された画像データを取得する(S301)。図39(a)に示されるように、この画像データには、並走車両C2の側面が撮影された上側画像部分及び下側画像部分が含まれている。次に、データ処理装置12,42は、画像データから横方向エッジを抽出して、図39(b)に示される結果を得る(S302)。図39(b)の結果には、ルーフ、窓枠、ボディライン、ボディ下面等に対応する横方向エッジが含まれている。
【0115】
次に、データ処理装置12,42は、図39(c)に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置12,42は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から並走車両の同一部位に対応する交点を求める(S304)。これにより、上側画像部分のルーフに対応する交点と、下側画像部分のルーフに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、窓枠、ボディライン、ボディ下面等について、上側画像部分の交点及び下側画像部分の交点が、互いに対応関係にある一対の交点として求められる。
【0116】
次に、データ処理装置12,42は、各対の交点の画素位置に基づいて、車両座標系における交点の3次元位置を算出する。データ処理装置12,42は、算出された各交点の3次元位置に基づいて並走車両であるか否かを判定し、並走車両である場合には、自車から並走車両までの相対距離と、自車を基準とした並走車両の相対角度を出力する。なお、各交点の3次元位置に基づいて並走車両であるか否かを判定するためには、多数の交点の高さが所定閾値以上であることを判定したり、多数の交点の配列具合から判定すればよい。
【0117】
データ処理装置12,42は、上述した認識処理のほか、全ての道路構成物や障害物などについて種別を認識する処理を行い、その認識結果を出力する(S309)。
【0118】
[撮像装置の配置の改良]
次に、上述した実施形態に係る自動走行装置3において、車両に取り付けられる撮像装置40の改良された配置、及びその利用方法について説明する。図40に示されるように、車両には、4つの撮像装置40A,40B,40C,40Dが取り付けられている。詳しくは、車両には、車両の前側の領域RAを撮影する撮像装置40A、車両の左側の領域RBを撮影する撮像装置40B、車両の右側の領域RCを撮影する撮像装置40C、及び車両の後側の領域RDを撮影する撮像装置40Dが設けられている。ここで、各撮像装置40A〜40Dは、ステレオ視した画像データを生成するものでもよいし、ステレオ視でない通常の画像データを生成する単眼カメラでもよい。
【0119】
上述したように、車両に4つの撮像装置40A〜40Dを設けた場合には、車両の左斜め前方、右斜め前方、左斜め後方および右斜め後方で、2つの撮像装置の撮像領域が部分的に重複している。よって、2つの撮像装置により生成された画像データにおいて、撮像領域が重複した部分の画像データをステレオ視した画像データとして利用することで、データ処理装置は、道路構成物の位置を算出することができる。例えば、図40に示されるように、車両の左斜め前方において、車両の前方を撮影する撮像装置の撮像領域RAと、車両の左側方を撮影する撮像装置の撮像領域RBとが重なっている。また、車両の左斜め後方において、車両の左側方を撮影する撮像装置の撮像領域RBと、車両の後方を撮影する撮像装置の撮像領域RDとが重なっている。データ処理装置42は、このように重なった撮像領域に、ガイドレールや側溝などの道路構成物がある場合に、2つの撮像装置により生成された画像データをステレオ視した画像データとして用いることで、道路構成物や側溝などの位置を算出することができる。
【0120】
さらに、データ処理装置は、算出された道路構成物の位置に基づいて、重複しない領域の道路構成物の位置を推定することができる。例えば、車両の左斜め前方において、直線状のガードレールや側溝などが検出され、車両の左斜め後方において、直線状のガードレールや側溝などが検出された場合に、左斜め前方の直線と左斜め後方の直線が同一直線である場合には、車両の左側の領域RBにおいて、その直線の位置にガイドレールや側溝などがあることを推定することができる。
【0121】
また、上述したように車両に4つの撮像装置40A〜40Dを設けた場合には、データ処理装置42は、4つの撮像装置40A〜40Dにより得られた画像データを処理することにより、図41に示されるような、車両の周囲のマップを生成することができる。このマップでは、車両の周囲にある道路構成物(ガードレール、側溝等)や障害物(樹木、三角コーン等)などの存在位置が示されており、さらに、道路構成物や障害物などがあるために車両から見えない死角となる領域が黒塗りで示されている。
【0122】
このようなマップを生成するために、データ処理装置42は、死角となる領域を算出する処理を行う。この処理を、図42(a),(b)を参照して説明する。図42(a)は、撮像装置40、障害物及びその死角を水平方向から見た図であり、図42(b)は、それらを上方から見た図である。データ処理装置42は、図42(a)に示されるように、自車が載っている平面上で、死角となる領域が続く距離Lを算出する。また、データ処理装置42は、図42(b)に示されるように、自車が載っている平面上で、死角となる領域の幅Wを算出する。そして、データ処理装置42は、算出された距離L及び幅Wにより囲われる範囲を、死角となる領域とする。
【図面の簡単な説明】
【0123】
【図1】自動走行用マップ作成装置を示すブロック図である。
【図2】道路構成物の位置算出を説明するための図である。
【図3】座標変換を説明するための図である。
【図4】世界平面直角座標系を示す図である。
【図5】世界平面座標系を示す図である。
【図6】道路構成物の位置の計測誤差を示すグラフである。
【図7】車両の走行軌跡の一連の計測点を示す図である。
【図8】車両の走行軌跡を示す図である。
【図9】走行軌跡に対する重み付けを示す図である。
【図10】重み付け後の走行軌跡を示す図である。
【図11】走行軌跡に対する別の重み付けを示す図である。
【図12】走行軌跡マップを示す画像データである。
【図13】走行軌跡重み加算マップを示す画像データである。
【図14】目標走行軌跡の算出を説明するための図である。
【図15】道路構成物マップを示す画像データである。
【図16】道路構成物マップを示す画像データである。
【図17】各回の道路構成物マップを示す画像データである。
【図18】道路構成物重み加算マップを示す画像データである。
【図19】道路構成物の存在位置を示す画像データである。
【図20】重み加算マップの階層構造を示す図である。
【図21】マップデータベースに記憶される情報を説明するための図である。
【図22】マップデータベースに記憶される情報を説明するための図である。
【図23】マップ作成装置の処理を示すフローチャートである。
【図24】自動走行装置を示すブロック図である。
【図25】探索範囲の設定を説明するための図である。
【図26】自車位置の補正を説明するための図である。
【図27】自車位置の補正を説明するための図である。
【図28】自動走行装置の処理を示すフローチャートである。
【図29】撮像装置の変形例を示す図である。
【図30】撮像装置の配置を示す図である。
【図31】データ処理装置の処理を示すフローチャートである。
【図32】道路構成物の位置の算出を説明するための図である。
【図33】抽出された横方向エッジの位置を示す図である。
【図34】車両と横方向エッジの位置関係を示す図である。
【図35】側溝の検出を説明するための図である。
【図36】側溝の検出を説明するための図である。
【図37】並走車両の検出を説明するための図である。
【図38】並走車両の検出を説明するための図である。
【図39】並走車両の検出を説明するための図である。
【図40】撮像装置の配置を示す図である。
【図41】車両周囲の道路構成物、障害物及びそれらの死角を示すマップである。
【図42】死角の範囲の算出を説明するための図である。
【符号の説明】
【0124】
1…自動走行用マップ作成装置、3…自動走行装置、10…撮像装置、12…データ処理装置、14…車両位置・方位・姿勢検出部、16…画像データ取込部、18…道路構成物認識部、20…位置算出部、22…最大誤差算出部、24…計測情報書き込み部、26…計測点情報記憶部、28…同一道路情報抽出部、30…同一道路情報結合部、32…マップデータ書き込み部、34,46…マップデータベース、40…撮像装置、42…データ処理装置、44…車両位置・方位・姿勢検出部、48…画像データ取込部、50…道路構成物位置算出部、52…探索距離設定部、56…画像内位置推定部、58…誤差影響算出部、60…最小探索枠設定部、62…認識対象物種別設定部、64…対象物認識部、66…自車位置補正部、68…制御指令出力部。
【技術分野】
【0001】
本発明は、自動走行に利用されるマップを作成するための装置、及び自動走行装置に関する。
【背景技術】
【0002】
特許文献1,2には、計測装置を搭載した車両が実際に道路を走行することで、道路マップデータを作成する方法が記載されている。この方法では、道路の白線や端を検出し、そこまでの距離の計測値を記録して、道路マップデータを作成する。また、ビデオカメラで撮影した景観を重ね合わせて記録することも行われている。
【特許文献1】特開2000−338865号公報
【特許文献2】特開2003−329449号公報
【特許文献3】特開2002−98758号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、従来技術に係るマップデータの作成では、作成されたマップデータにGPS誤差やセンサ誤差などが含まれてしまう。また、従来技術に係るマップデータの作成では、道路に沿って駐車車両などの障害物が一時的に存在する場合に、その障害物を避けるために計測車両は迂回するため、障害物がある位置で採取されたマップデータには大きな誤差が含まれてしまう。上述したようにマップデータに大きな誤差が含まれてしまい、正確なマップデータを作成できない場合がある、という問題がある。
【0004】
そこで、本発明の目的は、誤差が少ないマップデータを作成することができるマップ作成装置を提供することである。
【0005】
また、本発明の他の目的は、精度よく自動走行を行うことができる自動走行装置を提供することである。
【課題を解決するための手段】
【0006】
上述した目的を達成するために、本発明に係る自動走行用マップ作成装置は、道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、を備えたことを特徴とする。
【0007】
この構成によれば、計測対象の位置データは、計測機器を搭載した車両が道路を走行するごとに得られている。そして、マップにおいて計測対象の位置データに対応する小領域には、計測対象の存在を示す重みが加算されている。よって、マップには、計測機器を搭載した車両が複数回走行することによる重みが反映されているため、このマップを利用することで計測機器による誤差や車両が障害物を回避することにより生じる誤差などを抑制したマップデータを作成することができる。
【0008】
上述した自動走行用マップ作成装置において、同一道路情報結合手段は、マップの多数の小領域に対応付けられた重みに基づいて、計測対象の位置を特定することが好ましい。この構成によれば、マップの多数の小領域に対応する重みに基づいて、計測対象の位置を特定するため、計測対象の位置誤差を少なくすることができる。
【0009】
また、上述した自動走行用マップ作成装置において、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることが好ましい。この構成によれば、マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有しているため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。
【0010】
また、上述した自動走行用マップ作成装置において、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることが好ましい。この構成によれば、マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であるため、計測対象の存在確率に応じた適切な重みでマップデータを作成することができる。
【0011】
また、上述した自動走行用マップ作成装置において、計測対象は、車両の走行軌跡であることが好ましい。この構成によれば、車両の走行軌跡について誤差が少ないマップデータを作成することができる。
【0012】
また、上述した自動走行用マップ作成装置において、計測対象は、道路構成物であることが好ましい。この構成によれば、道路構成物について誤差が少ないマップデータを作成することができる。ここで、道路構成物とは、道路に沿って一般的に存在する物であり、白線、縁石、側溝、ガードレールなどである。
【0013】
上述した目的を達成するために、本発明に係る自動走行装置は、車両の位置を計測する位置検出手段と、車両周辺を撮影して、画像データを生成する撮像手段と、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して道路構成物の位置を算出する位置算出手段と、位置算出手段により算出された道路構成物の位置に基づいて、位置検出手段により計測された車両位置を補正する自車位置補正手段と、補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、を備えることを特徴とする。
【0014】
この構成によれば、道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲が設定されるため、探索範囲は小さく且つ道路構成物を確実に含む。よって、このような探索範囲を処理して道路構成物の位置を算出することにより、道路構成物の位置の算出を迅速に行うことができ、また、道路構成物の誤検出を防止することができる。そして、算出された道路構成物の位置に基づいて、位置検出手段を利用して計測された車両位置が補正されるため、精度よく自動走行を行うことができる。
【0015】
上述した自動走行装置において、道路構成物の位置誤差は、ステレオ視による位置誤差、GPS電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも1つを含むことが好ましい。
【0016】
上述した自動走行装置において、自車位置補正手段は、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、位置検出手段により計測された車両位置を補正し、位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、位置検出手段により計測された車両位置の補正を禁止することが好ましい。この構成によれば、位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合にのみ、位置検出手段により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。
【0017】
また、上述した自動走行装置において、撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、位置算出手段は、上側画像データ及び下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することが好ましい。この構成によれば、上側画像データ及び下側画像データから抽出された横方向エッジに基づいて、道路構成物又は障害物の位置を好適に算出することができる。
【0018】
また、上述した自動走行装置において、位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することが好ましい。この構成によれば、道路構成物又は障害物の種別によって横方向エッジの位置が異なることを利用して、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することができる。
【0019】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することが好ましい。この構成によれば、横方向エッジ間の領域の位置を利用することにより、より正確に道路構成物の種別を判定することができる。
【0020】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。
【0021】
また、上述した自動走行装置において、位置算出手段は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することが好ましい。この構成によれば、道路構成物の種別が側溝であることを適切に判定することができる。
【0022】
また、上述した自動走行装置において、撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、位置算出手段は、複数の画像データのうち撮影された領域が一部で重複している2つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することが好ましい。この構成によれば、ステレオ視されない領域における道路構成物の位置を好適に推定することができる。
【発明の効果】
【0023】
本発明によれば、誤差が少ないマップデータを作成することができる。また、本発明によれば、精度よく自動走行を行うことができる。
【発明を実施するための最良の形態】
【0024】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【0025】
[自動走行用マップ作成装置]
初めに、車両が自動走行時に用いるマップを作成するための自動走行用マップ作成装置の好適な実施形態について説明する。図1に示されるように、自動走行用マップ作成装置1は、撮像装置(撮像手段)10と、データ処理装置12と、車両の位置・方位・姿勢を検出する検出部14とで構成される。データ処理装置12は、物理的にはCPU,RAM,ROM等を含んで構成されており、機能的には、画像データ取込部16と、道路構成物認識部18と、位置算出部20と、最大誤差算出部22と、計測情報書き込み部24と、計測情報記憶部26と、同一道路情報抽出部28と、同一道路情報結合部30と、マップデータ書き込み部32と、マップデータベース34とを含んで構成されている。
【0026】
撮像装置10は、車両の周辺の道路を撮影して画像データを生成するものであり、本実施形態では2つのCCDカメラで構成される。2つのCCDカメラは、同じ方向に向けられており、互いに少し離れている。2つのCCDカメラが同時に撮影を行うことにより、車両周辺をステレオ視した2つの画像データが生成される。ここで、各CCDカメラにより生成される画像データは、複数の画素データを有するデータであって、夫々の画素データとして輝度データ及び色データを有するデータである。
【0027】
なお、撮像装置10は、1つのCCDカメラを用いて、車両周辺をステレオ視した2つの画像データを生成するように構成こともできる。この構成については、後に詳述する。また、撮像装置10は、1つのCCDカメラを用いて、モーションステレオ法により車両周辺をステレオ視した2つの画像データを生成してもよい。また、撮像装置10は、2つのミリ波レーダー、レーザレーダーなどで構成されてもよい。撮像装置にレーダーを用いた場合には、レーダーにより生成される画像データは、夫々の画素データとして、自車から被検知物までの距離データを有するものである。
【0028】
車両位置・方位・姿勢検出部14は、車両に取り付けられた複数種類のセンサで構成されている。(1)車両の位置を検出する手段として、GPS(Global Positioning System)装置が用いられている。GPS装置は、衛星からの信号を処理することで、後述する世界平面直角座標系における車両の位置を検出する。(2)車両の方位(進行方向)を検出する手段として、横加速度センサおよび操舵角センサが用いられている。横加速度センサは、車両の横方向に作用する加速度を検出する。操舵角センサは、ドライバにより操舵されたハンドルの角度を検出する。(3)車両の姿勢を検出する手段として、ロールセンサ、ピッチセンサ、ヨーセンサおよび車高センサが用いられている。ロールセンサは車両のロール角を検出し、ピッチセンサは車両のピッチ角を検出し、ヨーセンサは車両のヨー角を検出する。車高センサは、路面を基準とした車体の高さを検出する。
【0029】
データ処理装置12において、画像データ取込部16は、撮像装置10により生成された2つの画像データをデータ処理装置12内に取り込む処理を行う。道路構成物認識部18は、2つの画像データのそれぞれについて、白線、縁石、側溝、ガードレールなどの道路構成物を認識する処理を行う。具体的には、道路構成物認識部18は、画像データに対して、(1)Sobelフィルタ、Cannyフィルタなどを用いたエッジ抽出処理、(2)ハフ変換、最小自乗法などを用いた線分検出処理、(3)差分総和、正規化相関、ニューラルネットを用いたパターンマッチング処理などを行うことで、画像内にある道路構成物を認識する。
【0030】
位置算出部20は、2つの画像データにおける道路構成物の画素位置に基づいて、3次元座標系において道路構成物が存在する位置を算出する処理を行う。3次元座標系における道路構成物の位置の算出方法の概要を、図2を参照して説明する。図2には、左右のCCDカメラにより道路構成物を撮影する状況が示されている。左右のCCDカメラの光学中心間の距離である基線長はbであり、左右のCCDカメラは共に焦点距離をfとして画像データを生成する。左側の画像データILでは、画像上の2軸XL,YLを基準として、道路構成物の画素位置Pl(xl,yl)が特定される。一方、右側の画像データIRでは、画像上の2軸XR,YRを基準として、道路構成物の画素位置Pr(xr,yr)が特定される。位置算出部20は、これらの幾何学的関係に基づいて、撮像座標系における道路構成物が存在する位置P(Xps,Yps,Zps)を算出する。なお、撮像座標系とは、撮像装置10を基準とする座標系であって、左右の光学中心の中央を原点とし、3軸Xs,Ys,Zsによって座標を特定する座標系である。
【0031】
位置算出部20は、具体的には、次の数式(1)に従って、道路構成物が存在する位置P(Xps,Yps,Zps)を算出する。
【数1】
【0032】
次に、位置算出部20は、撮像座標系における道路構成物の位置P(Xps,Yps,Zps)を、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)に変換し、さらに車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)に変換する処理を行う。図3に示されるように、車両座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、撮像座標系の3軸Xs,Ys,Zsと平行な3軸Xc,Yc,Zcによって座標を特定する座標系である。車両座標系の原点は、撮像座標系の原点に対して、各軸Xs,Ys,Zsに沿ってax,ay,azだけ離れている。また、車両改座標系とは、車両を基準とする座標系であって、車両の中心位置を原点とし、水平面内にあって車両側方に延びるXf軸、水平面内にあって車両前方に延びるYf軸、および鉛直に延びるZf軸によって座標を特定する座標系である。なお、車両座標系の軸Xc,Ycのそれぞれを水平面に投影すると、車両改座標系の軸Xf,Yfに一致する。車両座標系の軸Xcは、車両改座標系の軸Xfに対してロール方向に角度φだけ傾斜しており、車両座標系の軸Ycは、車両改座標系の軸Yfに対してピッチ方向に角度ρだけ傾斜している。
【0033】
位置算出部20は、具体的には、次の数式(2)に従って、撮像座標系における道路構成物の位置P(Xps,Yps,Zps)を、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)に変換する。また、位置算出部20は、次の数式(3)に従って、車両座標系における道路構成物の位置P(Xpc,Ypc,Zpc)を、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)に変換する
【0034】
【数2】
【0035】
【数3】
【0036】
次に、位置算出部20は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)を、世界平面直角座標系における道路構成物の位置P(φom,λom)に変換するとともに、世界平面座標系における道路構成物の位置P(Xcg,Ycg,Zcg)に変換する処理を行う。ここで、世界平面直角座標系とは、図4に示されるように、地球の中心を基準として、緯度φ、経度λに2軸が設定された座標系である。世界平面直角座標系における道路構成物の位置P(φom,λom)は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)と、GPS装置により得られる車両Cの位置データとから算出される。また、世界平面座標系とは、図5に示されるように、地表のある位置に基準点Owが設定され、南北Xg、東西Yg及び標高に3軸が設定された座標系である。世界平面直角座標系における道路構成物の位置P(Xcg,Ycg,Zcg)は、車両改座標系における道路構成物の位置P(Xpf,Ypf,Zpf)と、GPS装置により得られる車両Cの位置データとから算出される。
【0037】
最大誤差算出部22は、GPS電波の受信状態から、車両の計測位置に含まれると推定される最大誤差を計算する。ここで、GPS電波の受信状態に起因する誤差Egは、市販のGPS装置で計測精度のデータを出力するものがあるので、そのデータを使用すればよい。また、最大誤差算出部22は、カメラ距離分解能、GPS電波の受信状態などから、位置算出部により算出された道路構成物の位置データに含まれると推定される最大誤差を計算する。図6には、最大誤差算出部22により算出される最大誤差の一例が示されている。最大誤差を示す曲線Errは、次の数式(4)に従って、カメラ距離分解能に起因する誤差Ec(D)と、GPS電波の受信状態に起因する誤差Egとを足し合わせることで算出される。
【0038】
【数4】
【0039】
カメラ距離分解能に起因する誤差Ec(D)は、画角、画素数、基線長、カメラから道路構成物までの距離Dに基づいて算出することができ、カメラから道路構成物までの距離Dが増加するほど小さくなる。図6において黒丸で示す位置誤差の実測値は、最大誤差算出部22により算出された最大誤差より小さくなっていることがわかる。なお、本実施形態では、カメラ距離分解能に起因する誤差Ec(D)、GPS電波の受信状態に起因する誤差Egのみを考慮したが、横加速度検出センサ、操舵角検出センサ、ロールセンサ、ピッチセンサ、ヨーセンサ、車高センサなどの誤差を考慮すれば、より正確な推定最大誤差を算出できる。
【0040】
計測情報書き込み部24は、上述した演算により求められた車両及び道路構成物に関する情報を計測情報記憶部26に書き込む。ここで、車両に関する情報を下の表1に示し、道路構成物に関する情報を下の表2に示す。
【0041】
【表1】
【0042】
【表2】
【0043】
なお、上の表2において、道路構成物の種別IDとは、種別の異なる道路構成物を区別するための識別情報である。例えば、白線には「1」が対応付けられ、側溝には「2」が対応付けられ、ガードレールには「3」が対応付けられる。また、ラベルIDとは、同じ種別の道路構成物が複数ある場合に、道路構成物を個体ごとに区別するための識別情報である。例えば、白線が2本ある場合には、第1の白線には「1−1」が対応付けられ、第2の白線には「1−2」が対応付けられる。
【0044】
また、上の表2では、道路構成物に関する情報は、図7(a)に概念的に示されるように、多数の点が一列に並んだ点列である。但し、計測情報書き込み部24は、図7(b)に概念的に示されるように、道路構成物の点列の情報に代えて、道路構成物の線情報を計測情報記憶部26に書き込んでもよい。道路構成物の線情報を下の表3に示す。
【0045】
【表3】
【0046】
同一道路情報抽出部28は、計測情報記憶部26に記憶された車両情報及び道路構成物情報の中から、同一の道路について作成された車両情報及び道路構成物情報を検索して抽出する。ここで、抽出される上記情報は、同じ車両が同じ道路を複数回走行することにより得られる情報であったり、異なる車両が同じ道路を走行することにより得られる情報である。
【0047】
同一道路情報結合部30は、同一道路情報抽出部28により抽出された車両情報及び道路構成物情報に基づいて、車両の目標走行軌跡を算出すると共に、道路構成物の位置を算出する処理を行う。以下に、同一道路情報結合部30による目標走行軌跡を算出する処理について説明してから、道路構成物の位置を算出する処理について説明する。
【0048】
同一道路情報結合部30は、同一道路情報抽出部28により抽出された車両情報のそれぞれに基づいて、走行軌跡マップを生成する処理を行う。ここで、走行軌跡マップとは、道路に沿った領域を南北方向及び東西方向に所定間隔ごとに細かく分割することにより、略正方形の多数の小領域が2次元配列されたマップである。走行軌跡マップでは、各小領域ごとに、走行軌跡の存在確率を示す重みが対応付けられている。
【0049】
同一道路情報結合部30は、走行軌跡マップを生成するために、先ず、図8に示されるように、車両位置の一連の計測点の間を、直線やペジェ曲線などで補間して、連続した走行軌跡を求める。同一道路情報結合部30は、次に、走行軌跡に対して重み付けを行う。ここで、走行軌跡に対する重み付けは、図9に示されるように正規分布を用いて行われる。図9では、走行軌跡が紙面に垂直に延びており、水平方向の位置が軸uで表されており、重みの大きさが軸Gで表されている。
【0050】
正規分布を用いた重み付けの式は、次の数式(5)で表される。
【数5】
ここで、σは正規分布の幅を決めるための変数であり、車両位置について推定される最大誤差Errを考慮して決定される。例えば、σ=Err/3 と設定される。
【0051】
図8に示される走行軌跡に対して上の数式(5)を用いて重み付けを行うことにより、図10に示される重み付き走行軌跡が算出される。なお、走行軌跡に対する重み付けは、図11に示されるように、走行軌跡上で重みが最大となり、走行軌跡からの離間距離に比例して直線的に重みが減少するように設定されてもよい。
【0052】
図12(a)〜(d)には、マップ作成装置を搭載した車両が同一経路を4回走行して得られる走行軌跡マップの画像データが示されている。ここで、走行軌跡マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、走行軌跡マップとして、走行軌跡に重み付けをしたマップを生成しているが、走行軌跡に重み付けしないマップを生成してもよい。即ち、走行軌跡が通過する小領域に一定値(例えば1.0)を付与することにより、走行軌跡マップを生成してもよい。
【0053】
次に、同一道路情報結合部30は、上述したように走行軌跡マップを生成するごとに、走行軌跡マップを走行軌跡重み加算マップに加算して、走行軌跡重み加算マップを書き換える処理を行う。ここで、走行軌跡重み加算マップとは、走行軌跡マップと同様に、2次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。
【0054】
走行軌跡重み加算マップの書き換え処理の具体例を説明する。図12(a)〜(d)の走行軌跡マップにおいて、図12(a),図12(c)及び図12(d)の走行軌跡マップはほぼ同じ形状となっているが、図12(b)の走行軌跡マップのみ異なる形状となっている。図12(b)の走行軌跡マップに関しては、マップ作成装置を搭載した車両が、道路を走行している際に他の車両や障害物を避けたことなどが推測される。これらの走行軌跡マップが、走行軌跡重み加算マップに加算された結果が、図13に示されている。図13の走行軌跡マップでは、多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。
【0055】
次に、同一道路情報結合部30は、走行軌跡重み加算マップにおいて、重み加算値が予め設定された重み閾値Th1よりも大きい領域と、重み加算値が重み閾値Th1よりも小さい領域とに2値化する。例えば、図14(a)に示される走行軌跡重み加算マップを2値化すると、図14(b)に示されるように変換される。図14(b)では、白領域において重み加算値が予め設定された重み閾値Th1よりも大きく、黒領域において重み加算値が予め設定された重み閾値Th1よりも小さい。
【0056】
次に、同一道路情報結合部30は、図14(c)に示されるように、領域Rの端部における白領域の中心位置を、領域R内での目標走行軌跡の第1位置として求める。また、同一道路情報結合部30は、第1位置付近における車両方位角度(表1参照)の平均値を算出することで、第1進行方向を求める。そして、同一道路情報結合部30は、図14(d)に示されるように、目標走行軌跡の第1位置から車両進行方向に一定の距離だけ進んだ位置を求め、その位置を通過するとともに第1の進行方向に直交する線分上における白領域の中心位置を、目標走行軌跡の第2位置として求める。また、同一道路情報結合部30は、第2位置付近における車両方位角度の平均値を算出することで、第2進行方向を求める。同一道路情報結合部30は、それ以降も同様な処理を行うことで、図14(e)に示されるように、目標走行軌跡の一連の位置(第3位置,第4位置,第5位置,・・・)及び一連の進行方向(第3進行方向,第4進行方向,第5進行方向,・・・)を算出する。
【0057】
次に、同一道路情報結合部30による道路構成物の位置を算出する処理について説明する。同一道路情報結合部30は、同一道路情報抽出部28により抽出された道路構成物情報に基づいて、道路構成物マップを生成する処理を行う。ここで、道路構成物マップとは、走行軌跡マップと同様に、2次元配列された多数の小領域からなるマップである。道路構成物マップでは、各小領域ごとに、道路構成物の存在確率を示す重みが対応付けられている。
【0058】
同一道路情報結合部30は、道路構成物マップを生成するために、先ず、道路構成物の一連の計測点の間を直線やペジェ曲線などで補間してから、道路構成物の一連の計測点を結ぶ直線又は曲線に重み付けを行う。ここでは、上述した走行軌跡への重み付けと同様に、道路構成物の計測点を結ぶ線に重み付けを行えばよい。
【0059】
図15(a)〜(e)には、車両が道路を走行している際に、各位置で計測される道路構成物(側溝)のマップが示されている。車両が道路を走行している際には、撮像装置10により撮影される道路構成物の範囲は限られているため、図15(a)〜(e)のそれぞれでは、道路構成物(側溝)の一部のみが検出されている。これらの道路構成物の部分的なマップを互いに加算することにより、図16に示されるように道路構成物マップを完成する。
【0060】
図17(a)〜(d)には、マップ作成装置を搭載した車両が同一経路を4回走行して得られる道路構成物マップの画像データが示されている。ここで、道路構成物マップでは、輝度が高いほど重みが大きく、輝度が小さいほど重みが小さい。なお、上述した処理では、道路構成物マップとして、道路構成物に重み付けをしたマップを生成しているが、道路構成物に重み付けしないマップを生成してもよい。即ち、道路構成物が通過する小領域に一定値(例えば1.0)を付与することにより、道路構成物マップを生成してもよい。
【0061】
次に、同一道路情報結合部30は、上述したように道路構成物マップを生成するごとに、道路構成物マップを道路構成物重み加算マップに加算して、道路構成物重み加算マップを書き換える処理を行う。ここで、道路構成物重み加算マップとは、道路構成物マップと同様に、2次元配列された多数の小領域からなるマップであり、各小領域には重みの加算値が対応付けられている。
【0062】
道路構成物重み加算マップの書き換え処理の具体例を説明する。これらの道路構成物マップが、道路構成物重み加算マップに加算された結果が、図18に示されている。図18の道路構成物重み加算マップでは、車両により多数回走行された小領域の重み加算値は大きく、輝度が大きい。一方、走行回数の少ない小領域の重み加算値は小さく、輝度が小さい。
【0063】
次に、同一道路情報結合部30は、道路構成物重み加算マップにおいて、重み加算値が予め設定された重み閾値Th2よりも大きい領域と、重み加算値が重み閾値Th2よりも小さい領域とに2値化する。次に、同一道路情報結合部30は、目標走行軌跡の一連の位置を求めたのと同じ手法で、道路構成物の一連(第1,第2,第3,・・・)の存在位置を算出し、目標走行軌跡の一連の進行方向を求めたのと同じ手法で、道路構成物の一連(第1,第2,第3,・・・)の延在方向を算出する。道路構成物の存在位置及び延在方向を求めた結果が、図19に示されている。同一道路情報結合部30は、図20に示されるように、上述した道路構成物重み加算マップを、白線、側溝、縁石、ガードレールなどの種別ごとに作成する。
【0064】
マップデータ書き込み部32は、目標走行軌跡及び道路構成物の情報を、自動走行用マップのフォーマットに変換してから、マップデータベース34に記憶する。自動走行用マップのフォーマットを、次の表4に示す。なお、次の表4に示される情報は、目標走行軌跡の1点に対応している。
【0065】
【表4】
【0066】
上の表4に示されるのは、目標走行軌跡の1点に対応して記憶されるデータ群であり、マップデータベース34には、このようなデータ群が目標走行軌跡の各点ごとに記憶されている。目標走行軌跡の各点は50cm周期であり、50cm周期の各点に対応して上の表4のデータ群が記憶される。
【0067】
図21に示されるように、白線、側溝、縁石、ガードレール等の道路構成物がある場合に、目標走行軌跡からその道路構成物までの距離が最短となる線分を想定する。ここで、その線分の長さが距離Lであり、目標走行軌跡と線分との角度が存在方向β1であり、道路構成物の延在方向と線分との角度が姿勢角β2である。また、推測最大位置誤差とは、カメラ距離分解能、画像取得時のGPS電波受信状態などを原因とする誤差であり、図22に示される道路構成物の重み加算マップにおいて、所定閾値より重みが大きい領域を白とし、所定閾値より重みが小さい領域を黒としたときに、帯状の白領域の幅Wを2分の1とすることで演算される。
【0068】
次に、図23のフローチャートを参照して、上述した自動走行用マップ作成装置の処理の流れについて説明する。先ず、データ処理装置12は、撮像装置10により生成された画像データを取り込む(S101)。次に、データ処理装置12は、画像データを処理して道路構成物の認識処理を行う(S102)。次に、データ処理装置12は、車両の位置、方位、姿勢の計測データを取り込む(S103)。次に、データ処理装置12は、道路構成物の位置を算出する(S104)。次に、データ処理装置12は、カメラ距離分解能、GPS電波受信状態などから、車両及び道路構成物の位置について推定される最大の誤差を算出する(S105)。
【0069】
次に、データ処理装置12は、車両及び道路構成物に関する情報を、計測点情報記憶部に書き込む(S106)。次に、データ処理装置は、車両に関する情報に基づいて、走行軌跡マップを作成し、さらに走行軌跡重み加算マップを作成する。同様に、データ処理装置は、道路構成物に関する情報に基づいて、道路構成物マップを作成し、さらに道路構成物重み加算マップを作成する(S107)。そして、データ処理装置12は、地図データベースに記憶されている目標走行軌跡及び道路構成物位置の情報を更新するか否かを決定する(S108)。ここで、地図データベースを更新する場合にはS109に進み、一方、地図データベースを更新しない場合にはS101に戻る。
【0070】
データ処理装置12は、走行軌跡重み加算マップを所定閾値Th1で2値化し、目標走行軌跡算出する(S109)。また、データ処理装置12は、道路構成物重み加算マップを所定閾値Th2で2値化し、道路構成物の存在位置を演算する(S110)。そして、データ処理装置12は、目標走行軌跡及び道路構成物の存在位置の情報を、自動走行用マップのフォーマットに変換してから、地図データベースに記憶する(S111,S112)。最後に、データ処理装置12は、処理を終了するか否かを決定する。ここで、処理を終了しない場合にはS101に戻る。
【0071】
[自動走行装置]
次に、上述した自動走行用マップを利用する自動走行装置3を搭載した車両について説明する。図24に示されるように、自動走行装置3は、撮像装置(撮像手段)40と、データ処理装置42と、車両の位置・方位・姿勢を検出する検出部44とで構成される。データ処理装置42は、物理的にはCPU,RAM,ROM等を含んで構成されており、機能的には、マップデータベース46と、画像データ取込部48と、道路構成物位置算出部(第1の位置算出部)50と、探索距離設定部52と、画像内位置推定部56と、誤差影響算出部58と、最小探索枠設定部60と、認識対象物種別設定部62と、対象物認識部(第2の位置算出部)64と、自車位置補正部66と、制御指令出力部68とを含んで構成されている。
【0072】
自動走行装置3において撮像装置40及び車両位置・方位・姿勢検出部44は、マップ作成装置1の撮像装置10及び車両位置・方位・姿勢検出部14と同じものであるため、説明を省略する。同様に、自動走行装置3において画像データ取込部48は、マップ作成装置1の画像データ取込部16と同じものであるため、説明を省略する。また、マップデータベース46には、マップ作成装置1により作成された自動走行用のマップデータが記憶されている。
【0073】
道路構成物位置算出部(第1の位置算出部)50は、GPS装置により得られる車両の位置データを取り込む。また、道路構成物位置算出部50は、マップデータベース46に記憶された目標走行軌跡のデータの中から、車両の位置データに最も近接する点に関するデータ(表4参照)を抽出して取り込む。そして、道路構成物位置算出部50は、取り込まれたデータを利用して、車両から目標走行軌跡の点までの相対位置を求め、さらにこの相対位置に、目標走行軌跡の点から道路構成物までの相対位置を加えることで、車両座標系における道路構成物の位置を算出する。ここで算出された道路構成物の相対位置には、GPS装置による計測誤差が含まれている。
【0074】
また、道路構成物位置算出部50は、探索距離設定部52から探索距離データを取り込んで、道路構成物の相対位置とその探索距離を比較して、その探索距離内にある道路構成物の相対位置のみを保持し、探索距離外にある道路構成物の相対位置を破棄する。なお、探索距離設定部52は、道路構成物の探索距離を決定する処理を行うものである。ここで、探索距離は、常に一定の距離が設定されてもよいし、車両の状況に応じて変化する距離が設定されてもよい。
【0075】
画像内位置推定部56は、道路構成物の画像内における位置を推定する処理を行う。この処理を行うために、画像内位置推定部56は、道路構成物位置算出部50と同様に、車両の位置データに最も近接する点に関するデータを抽出して取り込む。そして、画像内位置推定部56は、目標走行軌跡の点に関するデータから、世界平面直角座標系における道路構成物の位置データ(Xpg,Ypg,Zpg)を算出する。道路構成物の位置データは、次の数式(6)に従って算出される。
【0076】
【数6】
【0077】
次に、画像内位置推定部56は、次の数式(7)に従って、世界平面直角座標系における位置データ(Xpg,Ypg,Zpg)を、撮像座標系における位置データ(Xps,Yps,Zps)へ変換する。
【0078】
【数7】
【0079】
次に、画像内位置推定部56は、下の数式(8)に従って、撮像座標系における位置データ(Xps,Yps,Zps)を、左のカメラにより撮影された画像内の画素位置(XL,YL)へ変換する。また、画像内位置推定部56は、下の数式(9)に従って、撮像装置40座標系における位置データ(Xps,Yps,Zps)を、右のカメラにより撮影された画像内の画素位置(XR,YR)へ変換する。
【0080】
【数8】
【数9】
ここで、P1、P2、H1、H2は、ステレオカメラのキャリブレーションで導出されるカメラパラメータである。
【0081】
誤差影響算出部58は、抽出された道路構成物について、ステレオ視による位置誤差、GPS装置の位置誤差などの各種位置誤差の総和を算出する処理を行う。具体的には、誤差影響算出部58は、次の数式(10)の演算を行う。なお、位置誤差の種類は、下の表5に示されている。
【0082】
【数10】
【0083】
【表5】
【0084】
ステレオ視による位置誤差は、次の数式(11)により算出される。ステレオ視による位置誤差は、自車から道路構成物まで距離Dsの関数となっている。
【数11】
【0085】
GPS電波の受信状態に起因する位置誤差Px,Py,Pzは、市販のGPS装置で計測精度のデータを出力するものがあるので、その計測精度のデータに基づいて算出すればよい。
【0086】
方位角誤差(車両の方向の誤差のうち水平面内の成分)Aeに起因する位置誤差Hdは、次の数式(12)に従って算出される。方位角誤差AeはX軸方向だけに影響するため、位置誤差HdはX軸方向にのみ生じる。方位角誤差の最大値Aeは既知(例えば0.05°)であるため、位置誤差Hdは道路構成物までの距離Dsの関数となる。
【数12】
【0087】
ピッチ角誤差(車両の方向の誤差のうち垂直な成分)Peに起因する位置誤差Ptは、次の数式(13)に従って算出される。ピッチ角誤差PtはZ軸方向だけに影響するため、位置誤差PtはZ軸方向にのみ生じる。ピッチ角誤差の最大値Ptは既知(例えば0.05°)であるため、位置誤差Ptは道路構成物までの距離Dsの関数となる。
【数13】
【0088】
データ処理装置42内でのデータ通信の遅れに起因する位置誤差Cmは、厳密には車速や角速度などの関数となる値であるが、今回の処理では一定値(例えば100mm)として取り扱っている。
【0089】
マップデータベース46作成時の位置誤差は、マップデータベース46に記憶される推定最大位置誤差Err_W,Err_L及びErr_h(表4参照)を利用している。ここで、道路構成物が存在する方向にカメラの視線が向いている場合には、X軸にErr_Wを対応させ、Y軸にErr_Lを対応させ、Z軸にErr_hを対応させればよい。但し、道路構成物が存在する方向にカメラの視線が向いていない場合には、位置誤差を推定最大位置誤差Err_W,Err_L及びErr_hに基づいてX軸,Y軸及びZ軸の位置誤差を算出すればよい。
【0090】
最小探索枠設定部60は、左右のカメラにより撮影された画像において、各道路構成物を探索するための枠を設定する処理を行う。図25に示されるように、各軸方向の位置誤差積算値ΣerrX,ΣerrY,ΣerrZを考慮して、画像内位置推定部56により算出された道路構成物(縁石)の画素位置(XL,YL),(XR,YR)に対して適切な余裕しろを付与する。具体的には、道路構成物を中心として、X軸方向にΣerrX×2、Y軸方向にΣerrY×2、Z軸方向にΣerrZ×2の立方空間を想定し、この立方空間が画像に投影される範囲を、探索枠として設定する。なお、最小探索枠設定部60は、複数の道路構成物が存在する場合には、道路構成物ごとに探索枠を設定する。
【0091】
認識対象物種別設定部62は、認識対象となる道路構成物の種別を設定する処理を行う。ここで、認識対象物種別設定部62は、最小探索枠設定部60により設定された複数の探索枠の中から、既述の道路構成物位置算出部50により探索距離内にあるものとして判定された道路構成物の探索枠のみを設定する。
【0092】
対象物認識部(第2の位置算出部)64は、左右の画像に設定された探索枠の範囲内で、認識対象の道路構成物をエッジ抽出やパターン認識技術を用いて検出し、左側の画像データにおける道路構成物の画素位置Pl(xl,yl)と、右側の画像データにおける道路構成物の画素位置Pr(xr,yr)を求める。対象物認識部64は、これらの画素位置Pl,Prに基づいて、撮像座標系における道路構成物が存在する位置P(Xps,Yps,Zps)を算出し、最終的にはこの位置P(Xps,Yps,Zps)を車両改座標系における存在位置P(Xpf,Ypf,Zpf)に変換する。ここで算出された道路構成物の相対位置には、GPS装置による計測誤差が含まれていない。
【0093】
自車位置補正部66は、既述の道路構成物位置算出部50により算出された道路構成物の位置データ、及び対象物認識部64により認識された道路構成物の位置データに基づいて、GPS装置により検出される自車の位置データを補正する処理を行う。この処理を、図26を参照して説明する。
【0094】
自車位置補正部66は、これまでの処理によって、自車の位置データPg、目標走行軌跡の点の位置データPt、地図データベースに目標走行軌跡と共に記憶された道路構成物の位置データPm及び延在方向のデータβ2を把握している。自車位置補正部66は、目標走行軌跡の点Ptから道路構成物Pmまでの直線L1を想定し、この直線L1と、対象物認識部64により検出された道路構成物Qとの交差位置Pnを算出する。そして、自車位置補正部66は、GPSによる道路構成物の位置Pmと、画像認識による道路構成物の位置Pnとの差分ΔLを算出する。また、自車位置補正部66は、直線L1と道路構成物Qとが成す角度β3を算出する。
【0095】
自車位置補正部66は、位置データベースに記憶された道路構成物Pmの延在方向β2と、対象物認識部64により算出された道路構成物の延在方向β3の差分の絶対値|β2−β3|を算出して、この絶対値が予め設定された閾値より大きいか否かを判定する。ここで、絶対値が閾値より小さい場合には、検出状況が正常であるため、続いて自車位置の補正処理を行う。一方、絶対値が閾値より大きい場合には、検出状況が異常であるため、自車位置の補正処理を行わずに処理を終了する。
【0096】
絶対値が閾値より小さい場合には、自車位置補正部66は、図27に示されるように、実測自車位置Pgから存在方向に延びる直線L1に垂線を下ろしたときに、その直線L1と垂線とが交差する位置を算出し、さらに、存在方向に延びる直線L1上で、この交差位置から差分ΔLだけ移動された点Prの位置を算出する。この点Prの位置が、補正後の自車位置とされる。これにより、GPS装置による計測誤差が補正される。
【0097】
なお、GPS装置の計測誤差が、破線にて示される円Eの範囲内にあるときには、上述したように自車位置を点Prに補正すると、自車の位置データは過剰に補正されてしまうこととなる。このような事態を回避するために、点PrがGPS装置の計測誤差Pの範囲外にあるときには、直線L1と円Eとの交点Puの位置を、補正後の自車位置として算出する。
【0098】
また、自車位置補正部66は、GPS装置の計測誤差が所定閾値より大きい場合に、GPS装置により計測された車両位置を補正し、GPS装置の計測誤差が所定閾値より小さいときに、GPS装置により計測された車両位置の補正を禁止してもよい。この構成によれば、GPS装置の計測誤差が所定閾値より大きい場合にのみ、GPS装置により計測された車両位置を補正することで、制御上必要な場合にのみ車両位置を補正することができる。
【0099】
制御指令出力部68は、補正後の自車位置Prが、目標走行軌跡上の点(Pt+1,Pt+2,Pt+3,・・・)に調節されるように、車両の速度、操舵角等を制御するための指令を出力する。なお、NOxの濃度分布マップを記憶しておき、NOxが多い地区では、制御指令出力部68が自動的にエンジン駆動からモータ駆動に切り替えてもよい。
【0100】
次に、図28のフローチャートを参照して、自動走行装置3の処理の流れについて説明する。データ処理装置42は、撮像装置40により生成された画像データを取り込む(S201)。次に、データ処理装置42は、車両の位置、方位、姿勢の計測データを取り込む(S202)。次に、データ処理装置42は、マップデータベース46から目標走行軌跡の情報を取り込み、目標走行軌跡を規定する多数の点の中から、計測された車両位置に最も近い点のデータを抽出する(S203)。次に、データ処理装置42は、GPS装置による車両位置の計測データ、及び目標走行軌跡の最も近接した点のデータに基づいて、車両座標系における道路構成物の相対位置を算出する(S204)。
【0101】
次に、データ処理装置42は、左右のカメラにより撮影された画像データにおいて、道路構成物が存在し得る画素範囲を、探索範囲として算出する(S205)。データ処理装置42は、左右の画像データの探索範囲から道路構成物の検出し、車両座標系における道路構成物の相対位置を算出する(S206)。データ処理装置42は、ステップ204で算出された道路構成物の相対位置と、ステップ206で算出された道路構成物の相対位置とを比較して、自車位置を補正する(S207)。データ処理装置42は、補正後の自車位置に基づいて、自車が目標走行軌跡を走行するように制御値を決定し、制御を実行する(S208)。データ処理装置42は、上述した処理を終了するか否かを決定する。ここで、処理を終了しない場合にはS201に戻る(S209)。
【0102】
[道路構成物の認識方法の改良]
次に、上述した実施形態に係る自動走行用マップ作成装置1及び自動走行装置3において、車両に取り付けられる撮像装置10,40の改良された構造、及びこの撮像装置10,40により撮影された画像データから道路構成物を検出する方法について説明する。
【0103】
図29に示されるように、撮像装置10,40は、1個のCCDカメラ70にステレオレンズユニット72が取り付けられて構成されている。ステレオレンズユニット72には、2つのレンズ74H,74Lが50mm程度上下に離して配置されている。上側のレンズ74Hにより集光された光束は、2枚のミラー76H1,76H2により反射されてCCDカメラ70に至る。同様に、下側のレンズ74Lにより集光された光束は、2枚のミラー76L1,76L2により反射されてCCDカメラ70に至る。撮像装置10,40は、撮像対象Oをステレオ視した2つの画像部分を含む1つの画像データIを生成して、この画像データIをデータ処理装置12,42に向けて出力する。このように撮像装置10,40を構成することにより、画像データIを画像処理に適したものとすることができ、また、撮像装置10,40の低価格化したり、小型化することができる。
【0104】
上述した撮像装置10,40は、図30(a)に示されるように、車両のサイドミラーの位置に取り付けられる。撮像装置10,40のカメラ視線方向を斜め下方に向けることにより、車両の側方にある白線、側溝、ガイドレール、並走車両等を検出可能である。なお、視野が広角のレンズを選択することにより、図30(b)に示されるように、車両の側方を全範囲(180°)に渡って撮像可能とすることが好ましい。
【0105】
次に、図31のフローチャートを参照しつつ、データ処理装置12,42による処理の流れを説明する。図31のフローチャートに示される処理は、マップ作成装置1の道路構成物認識部18、及び自動走行装置3の対象物認識部64で行われる処理である。
【0106】
先ず、データ処理装置12,42は、撮像装置10,40により撮像された画像データを取得する(S301)。取得される画像データの一例を、図32(a)に示す。データ処理装置12,42は、画像データから横方向エッジを抽出して、図32(b)に示される結果を得る(S302)。次に、データ処理装置12,42は、道路構成物の認識処理を行うべき探索範囲を算出する(S303)。ここで行われる探索範囲の導出は、図28のフローチャートを参照して説明したステップ202からステップ205までと同じ処理である。
【0107】
次に、データ処理装置12,42は、図32(c)に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置12,42は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から同一の道路構成物に対応する交点を求める(S304)。これにより、図32(c)に示されるように、上側画像部分のガイドレールに対応する交点と、下側画像部分のガイドレールに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、上側画像部分の側溝に対応する交点と、下側画像部分の側溝に対応する交点とが、互いに対応関係にある一対の交点として求められる。
【0108】
次に、データ処理装置12,42は、互いに対応関係にある一対の交点から、車両座標系における交点の3次元位置を算出する(S305)。図33に示されるように、横方向エッジは車両の前後方向に沿って延びており、矢印Aに従って車両の前方から見ると、交点は図34に示されるように車両の側方の位置にある。
【0109】
次に、データ処理装置12,42は、道路構成物(白線、縁石、ガードレール、側溝、道路境界など)の種別を判定する処理を行う。ここで、データ処理装置12,42は、自車が載っている平面より予め設定された閾値Th1以上の高さを持つ交点に関しては、道路構成物の種別がガイドレール等の障害物であることを判定する。但し、自車が載っている平面より所定閾値Th1以内の高さを持つ交点に関しては、道路構成物の種別が不明である。そこで、データ処理装置12,42は以下の処理を行う。
【0110】
データ処理装置12,42は、図35(a)に示されるように、上側画像部分及び下側画像部分のそれぞれにおいて互いに対応関係にある2点を含んでいる矩形の範囲RH,RLを設定し、図35(b)に示されるように、さらにこれらの矩形の範囲RH,RLにおいて2点D1,D2間に複数の小領域SR1,SR2,SR3を設定する。ここで、複数の小領域を設定する際に正規化相関や差分総和などのパターンマッチング処理を行うことにより、上側画像部分の小領域は、下側画像部分の小領域に対して相関値が高くなる位置に設定されている。なお、複数の小領域は、互いに重なるように設定されてもよい。
【0111】
次に、データ処理装置12,42は、上側画像部分の小領域の画素位置、及びそれに対応する下側画像部分の小領域の画素位置に基づいて、車両座標系における小領域の3次元位置を算出する。データ処理装置12,42は、図36(a)に示されるように、小領域の3次元位置が、自車が載っている平面から閾値Th2より低い場合には、道路構成物が側溝であることを判定する。一方、データ処理装置12,42は、図36(b)に示されるように、小領域の3次元位置が、自車が載っている平面から閾値Th2の範囲内にある場合、道路構成物が白線、道路の模様等であることを判定する。
【0112】
なお、上述した道路構成物の認識処理では、データ処理装置12,42は、小領域の3次元位置が自車が載っている平面から閾値Th2より低い場合に、道路構成物を側溝であることを判定したが、データ処理装置は、横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物が側溝であることを判定してもよい。
【0113】
また、データ処理装置12,42は、自車C1の側方で並走している並走車両C2がある場合には、その並走車両C2の存在を判定する処理を行う。並走車両C2は、図37に示されるように撮像装置10,40の視野に入るため、並走車両C2が自車C1の真横にある場合には、図38に示される枠内を撮影した画像データが得られる。
【0114】
データ処理装置12,42は、撮像装置10,40により撮像された画像データを取得する(S301)。図39(a)に示されるように、この画像データには、並走車両C2の側面が撮影された上側画像部分及び下側画像部分が含まれている。次に、データ処理装置12,42は、画像データから横方向エッジを抽出して、図39(b)に示される結果を得る(S302)。図39(b)の結果には、ルーフ、窓枠、ボディライン、ボディ下面等に対応する横方向エッジが含まれている。
【0115】
次に、データ処理装置12,42は、図39(c)に示されるように、横方向エッジの抽出結果において、上下に延びる直線を想定し、横方向エッジと直線との複数の交点の画素位置を求める。そして、データ処理装置12,42は、エピポーラ拘束を利用して、上側画像部分及び下側画像部分から並走車両の同一部位に対応する交点を求める(S304)。これにより、上側画像部分のルーフに対応する交点と、下側画像部分のルーフに対応する交点とが、互いに対応関係にある一対の交点として求められる。同様に、窓枠、ボディライン、ボディ下面等について、上側画像部分の交点及び下側画像部分の交点が、互いに対応関係にある一対の交点として求められる。
【0116】
次に、データ処理装置12,42は、各対の交点の画素位置に基づいて、車両座標系における交点の3次元位置を算出する。データ処理装置12,42は、算出された各交点の3次元位置に基づいて並走車両であるか否かを判定し、並走車両である場合には、自車から並走車両までの相対距離と、自車を基準とした並走車両の相対角度を出力する。なお、各交点の3次元位置に基づいて並走車両であるか否かを判定するためには、多数の交点の高さが所定閾値以上であることを判定したり、多数の交点の配列具合から判定すればよい。
【0117】
データ処理装置12,42は、上述した認識処理のほか、全ての道路構成物や障害物などについて種別を認識する処理を行い、その認識結果を出力する(S309)。
【0118】
[撮像装置の配置の改良]
次に、上述した実施形態に係る自動走行装置3において、車両に取り付けられる撮像装置40の改良された配置、及びその利用方法について説明する。図40に示されるように、車両には、4つの撮像装置40A,40B,40C,40Dが取り付けられている。詳しくは、車両には、車両の前側の領域RAを撮影する撮像装置40A、車両の左側の領域RBを撮影する撮像装置40B、車両の右側の領域RCを撮影する撮像装置40C、及び車両の後側の領域RDを撮影する撮像装置40Dが設けられている。ここで、各撮像装置40A〜40Dは、ステレオ視した画像データを生成するものでもよいし、ステレオ視でない通常の画像データを生成する単眼カメラでもよい。
【0119】
上述したように、車両に4つの撮像装置40A〜40Dを設けた場合には、車両の左斜め前方、右斜め前方、左斜め後方および右斜め後方で、2つの撮像装置の撮像領域が部分的に重複している。よって、2つの撮像装置により生成された画像データにおいて、撮像領域が重複した部分の画像データをステレオ視した画像データとして利用することで、データ処理装置は、道路構成物の位置を算出することができる。例えば、図40に示されるように、車両の左斜め前方において、車両の前方を撮影する撮像装置の撮像領域RAと、車両の左側方を撮影する撮像装置の撮像領域RBとが重なっている。また、車両の左斜め後方において、車両の左側方を撮影する撮像装置の撮像領域RBと、車両の後方を撮影する撮像装置の撮像領域RDとが重なっている。データ処理装置42は、このように重なった撮像領域に、ガイドレールや側溝などの道路構成物がある場合に、2つの撮像装置により生成された画像データをステレオ視した画像データとして用いることで、道路構成物や側溝などの位置を算出することができる。
【0120】
さらに、データ処理装置は、算出された道路構成物の位置に基づいて、重複しない領域の道路構成物の位置を推定することができる。例えば、車両の左斜め前方において、直線状のガードレールや側溝などが検出され、車両の左斜め後方において、直線状のガードレールや側溝などが検出された場合に、左斜め前方の直線と左斜め後方の直線が同一直線である場合には、車両の左側の領域RBにおいて、その直線の位置にガイドレールや側溝などがあることを推定することができる。
【0121】
また、上述したように車両に4つの撮像装置40A〜40Dを設けた場合には、データ処理装置42は、4つの撮像装置40A〜40Dにより得られた画像データを処理することにより、図41に示されるような、車両の周囲のマップを生成することができる。このマップでは、車両の周囲にある道路構成物(ガードレール、側溝等)や障害物(樹木、三角コーン等)などの存在位置が示されており、さらに、道路構成物や障害物などがあるために車両から見えない死角となる領域が黒塗りで示されている。
【0122】
このようなマップを生成するために、データ処理装置42は、死角となる領域を算出する処理を行う。この処理を、図42(a),(b)を参照して説明する。図42(a)は、撮像装置40、障害物及びその死角を水平方向から見た図であり、図42(b)は、それらを上方から見た図である。データ処理装置42は、図42(a)に示されるように、自車が載っている平面上で、死角となる領域が続く距離Lを算出する。また、データ処理装置42は、図42(b)に示されるように、自車が載っている平面上で、死角となる領域の幅Wを算出する。そして、データ処理装置42は、算出された距離L及び幅Wにより囲われる範囲を、死角となる領域とする。
【図面の簡単な説明】
【0123】
【図1】自動走行用マップ作成装置を示すブロック図である。
【図2】道路構成物の位置算出を説明するための図である。
【図3】座標変換を説明するための図である。
【図4】世界平面直角座標系を示す図である。
【図5】世界平面座標系を示す図である。
【図6】道路構成物の位置の計測誤差を示すグラフである。
【図7】車両の走行軌跡の一連の計測点を示す図である。
【図8】車両の走行軌跡を示す図である。
【図9】走行軌跡に対する重み付けを示す図である。
【図10】重み付け後の走行軌跡を示す図である。
【図11】走行軌跡に対する別の重み付けを示す図である。
【図12】走行軌跡マップを示す画像データである。
【図13】走行軌跡重み加算マップを示す画像データである。
【図14】目標走行軌跡の算出を説明するための図である。
【図15】道路構成物マップを示す画像データである。
【図16】道路構成物マップを示す画像データである。
【図17】各回の道路構成物マップを示す画像データである。
【図18】道路構成物重み加算マップを示す画像データである。
【図19】道路構成物の存在位置を示す画像データである。
【図20】重み加算マップの階層構造を示す図である。
【図21】マップデータベースに記憶される情報を説明するための図である。
【図22】マップデータベースに記憶される情報を説明するための図である。
【図23】マップ作成装置の処理を示すフローチャートである。
【図24】自動走行装置を示すブロック図である。
【図25】探索範囲の設定を説明するための図である。
【図26】自車位置の補正を説明するための図である。
【図27】自車位置の補正を説明するための図である。
【図28】自動走行装置の処理を示すフローチャートである。
【図29】撮像装置の変形例を示す図である。
【図30】撮像装置の配置を示す図である。
【図31】データ処理装置の処理を示すフローチャートである。
【図32】道路構成物の位置の算出を説明するための図である。
【図33】抽出された横方向エッジの位置を示す図である。
【図34】車両と横方向エッジの位置関係を示す図である。
【図35】側溝の検出を説明するための図である。
【図36】側溝の検出を説明するための図である。
【図37】並走車両の検出を説明するための図である。
【図38】並走車両の検出を説明するための図である。
【図39】並走車両の検出を説明するための図である。
【図40】撮像装置の配置を示す図である。
【図41】車両周囲の道路構成物、障害物及びそれらの死角を示すマップである。
【図42】死角の範囲の算出を説明するための図である。
【符号の説明】
【0124】
1…自動走行用マップ作成装置、3…自動走行装置、10…撮像装置、12…データ処理装置、14…車両位置・方位・姿勢検出部、16…画像データ取込部、18…道路構成物認識部、20…位置算出部、22…最大誤差算出部、24…計測情報書き込み部、26…計測点情報記憶部、28…同一道路情報抽出部、30…同一道路情報結合部、32…マップデータ書き込み部、34,46…マップデータベース、40…撮像装置、42…データ処理装置、44…車両位置・方位・姿勢検出部、48…画像データ取込部、50…道路構成物位置算出部、52…探索距離設定部、56…画像内位置推定部、58…誤差影響算出部、60…最小探索枠設定部、62…認識対象物種別設定部、64…対象物認識部、66…自車位置補正部、68…制御指令出力部。
【特許請求の範囲】
【請求項1】
道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、
計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、
を備えたことを特徴とする自動走行用マップ作成装置。
【請求項2】
前記同一道路情報結合手段は、前記マップの多数の小領域に対応付けられた重みに基づいて、前記計測対象の位置を特定することを特徴とする請求項1に記載の自動走行用マップ作成装置。
【請求項3】
前記マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることを特徴とする請求項1又は2に記載の自動走行用マップ作成装置。
【請求項4】
前記マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることを特徴とする請求項3に記載の自動走行用マップ作成装置。
【請求項5】
前記計測対象は、車両の走行軌跡であることを特徴とする請求項1〜4のいずれか1項に記載の自動走行用マップ作成装置。
【請求項6】
前記計測対象は、道路構成物であることを特徴とする請求項1〜4のいずれか1項に記載の自動走行用マップ作成装置。
【請求項7】
車両の位置を計測する位置検出手段と、
車両周辺を撮影して、画像データを生成する撮像手段と、
道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して前記道路構成物の位置を算出する位置算出手段と、
前記位置算出手段により算出された道路構成物の位置に基づいて、前記位置検出手段により計測された車両位置を補正する自車位置補正手段と、
補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、
を備えることを特徴とする自動走行装置。
【請求項8】
前記道路構成物の位置誤差は、ステレオ視による位置誤差、GPS電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも1つを含むことを特徴とする請求項7に記載の自動走行装置。
【請求項9】
前記自車位置補正手段は、
前記位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、前記位置検出手段により計測された車両位置を補正し、
前記位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、前記位置検出手段により計測された車両位置の補正を禁止することを特徴とする請求項7又は8に記載の自動走行装置。
【請求項10】
前記撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、
前記位置算出手段は、前記上側画像データ及び前記下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することを特徴とする請求項7又は8に記載の自動走行装置。
【請求項11】
前記位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することを特徴とする請求項10に記載の自動走行装置。
【請求項12】
前記位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することを特徴とする請求項10又は11に記載の自動走行装置。
【請求項13】
前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することを特徴とする請求項12に記載の自動走行装置。
【請求項14】
前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することを特徴とする請求項12に記載の自動走行装置。
【請求項15】
前記撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、
前記位置算出手段は、前記複数の画像データのうち撮影された領域が一部で重複している2つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することを特徴とする請求項7に記載の自動走行装置。
【請求項1】
道路に沿った領域が多数の小領域に分割され、各小領域ごとに計測対象の存在を示す重みが対応付けられるマップが記憶された記憶手段と、
計測機器を搭載した車両が同一の道路を走行するごとに得られる計測対象の位置データを利用して、当該位置データに対応する小領域に、計測対象の存在を示す重みを加算する同一道路情報結合手段と、
を備えたことを特徴とする自動走行用マップ作成装置。
【請求項2】
前記同一道路情報結合手段は、前記マップの多数の小領域に対応付けられた重みに基づいて、前記計測対象の位置を特定することを特徴とする請求項1に記載の自動走行用マップ作成装置。
【請求項3】
前記マップに加算される重みは、計測対象の位置で最大となり、計測対称の位置から離れるほど小さくなる分布を有していることを特徴とする請求項1又は2に記載の自動走行用マップ作成装置。
【請求項4】
前記マップに加算される重みの分布は、計測対象の位置誤差に応じた分布であることを特徴とする請求項3に記載の自動走行用マップ作成装置。
【請求項5】
前記計測対象は、車両の走行軌跡であることを特徴とする請求項1〜4のいずれか1項に記載の自動走行用マップ作成装置。
【請求項6】
前記計測対象は、道路構成物であることを特徴とする請求項1〜4のいずれか1項に記載の自動走行用マップ作成装置。
【請求項7】
車両の位置を計測する位置検出手段と、
車両周辺を撮影して、画像データを生成する撮像手段と、
道路構成物の位置誤差に基づいて、画像データにおける道路構成物の探索範囲を設定し、当該探索範囲内を処理して前記道路構成物の位置を算出する位置算出手段と、
前記位置算出手段により算出された道路構成物の位置に基づいて、前記位置検出手段により計測された車両位置を補正する自車位置補正手段と、
補正後の車両位置に基づいた自動走行用の制御指令を出力する制御指令出力手段と、
を備えることを特徴とする自動走行装置。
【請求項8】
前記道路構成物の位置誤差は、ステレオ視による位置誤差、GPS電波の受信状態に起因する位置誤差、方位角誤差に起因する位置誤差、ピッチ角誤差に起因する位置誤差、通信遅れに起因する位置誤差、マップデータベース作成時の位置誤差の少なくとも1つを含むことを特徴とする請求項7に記載の自動走行装置。
【請求項9】
前記自車位置補正手段は、
前記位置検出手段により計測された車両位置の誤差が所定閾値より大きい場合に、前記位置検出手段により計測された車両位置を補正し、
前記位置検出手段により計測された車両位置の誤差が所定閾値より小さいときに、前記位置検出手段により計測された車両位置の補正を禁止することを特徴とする請求項7又は8に記載の自動走行装置。
【請求項10】
前記撮像手段は、ステレオ視した上側画像データ及び下側画像データを生成し、
前記位置算出手段は、前記上側画像データ及び前記下側画像データのそれぞれから、道路構成物又は障害物に対応する横方向エッジを抽出し、抽出された横方向エッジに基づいて道路構成物又は障害物の位置を算出することを特徴とする請求項7又は8に記載の自動走行装置。
【請求項11】
前記位置算出手段は、横方向エッジの位置に基づいて道路構成物又は障害物の種別を判定することを特徴とする請求項10に記載の自動走行装置。
【請求項12】
前記位置算出手段は、横方向エッジ間の領域の位置を算出し、横方向エッジ間の領域の位置に基づいて道路構成物の種別を判定することを特徴とする請求項10又は11に記載の自動走行装置。
【請求項13】
前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも所定閾値以上低い場合に、道路構成物は側溝であることを判定することを特徴とする請求項12に記載の自動走行装置。
【請求項14】
前記位置算出手段は、前記横方向エッジ間の領域の位置が、自車が載っている平面よりも低く、且つその平面に対して垂直に並んでいる場合に、道路構成物は側溝であることを判定することを特徴とする請求項12に記載の自動走行装置。
【請求項15】
前記撮像手段は、車両の前側領域、左側領域、右側領域及び後側領域を撮影して、各領域の画像データを生成するものであり、
前記位置算出手段は、前記複数の画像データのうち撮影された領域が一部で重複している2つの画像データをステレオ視した画像データとして利用し、重複領域にある道路構成物の位置を算出し、算出された道路構成物の位置に基づいて重複しない領域の道路構成物の位置を推定することを特徴とする請求項7に記載の自動走行装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図31】
【図33】
【図34】
【図36】
【図38】
【図39】
【図40】
【図41】
【図42】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図30】
【図32】
【図35】
【図37】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図31】
【図33】
【図34】
【図36】
【図38】
【図39】
【図40】
【図41】
【図42】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図30】
【図32】
【図35】
【図37】
【公開番号】特開2007−183432(P2007−183432A)
【公開日】平成19年7月19日(2007.7.19)
【国際特許分類】
【出願番号】特願2006−1871(P2006−1871)
【出願日】平成18年1月6日(2006.1.6)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
【公開日】平成19年7月19日(2007.7.19)
【国際特許分類】
【出願日】平成18年1月6日(2006.1.6)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
[ Back to top ]