車線推定装置
【課題】撮像手段で撮像した画像から、左右の走行車線の位置を推定する。
【解決手段】固定データメモリ9dには走行車線21L,21R間の標準レーン幅W1、二重白線の内側誘導線22間の狭レーン幅W2のデータが記憶されている。車線候補点設定部9aは撮像手段1で撮像した画像に基づいて走行レーンの左右の車線検出点Pを検出し、この車線検出点Pを起点として対向する車線側の各レーン幅W1,W2の位置と両レーン幅W1,W2間の位置に車線候補点G1〜G3を設定する。曲線近似処理部9bは車線検出点Pと車線候補点G1〜G3とに基づき求めた曲線近似式から走行レーンの左右に仮想線Lsを設定する。車線位置設定部9cは左右の仮想線Lsに対する各車線候補点G1〜G3の分散を求め、最小の分散を示す仮想線Lsに対応する車線種により左右の少なくとも一方の仮想線Lsの車線種を推定し、この車線種を基準に走行車線位置を確定する。
【解決手段】固定データメモリ9dには走行車線21L,21R間の標準レーン幅W1、二重白線の内側誘導線22間の狭レーン幅W2のデータが記憶されている。車線候補点設定部9aは撮像手段1で撮像した画像に基づいて走行レーンの左右の車線検出点Pを検出し、この車線検出点Pを起点として対向する車線側の各レーン幅W1,W2の位置と両レーン幅W1,W2間の位置に車線候補点G1〜G3を設定する。曲線近似処理部9bは車線検出点Pと車線候補点G1〜G3とに基づき求めた曲線近似式から走行レーンの左右に仮想線Lsを設定する。車線位置設定部9cは左右の仮想線Lsに対する各車線候補点G1〜G3の分散を求め、最小の分散を示す仮想線Lsに対応する車線種により左右の少なくとも一方の仮想線Lsの車線種を推定し、この車線種を基準に走行車線位置を確定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載されている撮像手段で撮像した前方の外部環境に基づいて走行レーン上に車線に対応する仮想線を設定する車線推定装置に関する。
【背景技術】
【0002】
従来、高速道路等の走行において、自車両前方の走行環境を検出し、検出した走行環境データに基づいて、自車走行レーンの左右を区画する走行車線を検出し、この走行車線に沿って自車両を自動走行させる走行制御や、認識した車線位置から自車両が逸脱すると予測される場合には警告を発して、運転者に注意を促すレーンキープ制御等の運転支援装置が知られている。
【0003】
自車両を走行車線に沿って正確に走行させるためには、この走行車線の位置を正確に推定する必要がある。この走行車線位置を推定する手段としては、車両に搭載されているカメラ(以下、「車載カメラ」と称する)で撮像した自車両前方の画像に基づき、路面と白線との輝度差から白線のエッジを検出し、この白線のエッジから走行車線位置を確定する技術が知られている。
【0004】
しかし、高速道路上の走行車線は、走行レーンを区画する左右の走行車線のみならず、カーブ等には、走行車線とその内側の誘導線(いわゆるドットライン)とからなる二重白線が描かれている場合がある。白線のエッジを路面との輝度差により検出する技術では、道路内側の白線が外側の白線よりも輝度差が明確に現れるため、二重白線では、内側誘導線を走行車線と誤認識しやすい。又、車線と平行に轍が形成されている場合、この轍が水溜まりになると、その水面からの反射光により高輝度が受光されるため、この轍を車線と誤認識してしまう可能性がある。
【0005】
この対策として、例えば特許文献1(特許第3733875号公報)には、車載カメラで撮像した画像に基づいて検出した白線が、轍の水溜まりや二重白線などの疑似白線と判定された場合は、自車両の車線に対する横位置を除く道路パラメータを設定することで、疑似白線を白線と誤認識してしまうことを防止する技術が開示されている。
【0006】
又、引用文献2(特許第3603836号公報)には、車載カメラで撮像した画像に基づいて、対を成す左右の白線候補点を検出し、検出した各白線候補点の中から垂直方向が同一位置の左右対を成す候補点対を検出し、この各候補点対の水平距離と垂直位置との関係から、直線近似式を求め、候補点対の垂直方向位置に基づいて直線近似式から算出した水平距離と画像から求めた候補点対の水平距離との差に基づいて、各候補点対の中から真の白線候補点を抽出し、この真の白線候補点に基づいて道路パラメータを設定することで、真の白線候補点の検出精度を高めるようにした技術が開示されている。
【0007】
この引用文献2に開示されている技術によれば、走行車線は左右に平行に設けられており、カメラで撮像した左右の走行車線を直線近似すると消失点で車線幅(レーン幅)がゼロになることに着目し、左右それぞれに、複数の直線候補があっても、この近似直線の消失点が一致する場合は二重白線であると判定することができる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第3733875号公報
【特許文献2】特許第3603836号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、引用文献1に開示されている技術では、疑似白線が検出された場合、横位置を除いて道路パラメータを設定しているため、例えば走行レーンの中央等、任意の位置を走行させようとした場合、横位置データが無いため、自車両の走行ラインを走行レーンの中央に設定することができず、走行制御が不安定化してしまう不都合がある。
【0010】
又、実際の高速道路等の路面に描かれている二重白線の内側誘導線(ドットライン)は、その上を走行車両のタイヤが頻繁に通過するため、かすれている場合も多く、内側誘導線のエッジと路面との輝度差が少なく、内側誘導線を検出することが困難な場合がある。このような場合、外側の真の白線と内側誘導線との各候補点が、特に消失点付近では明確に切り分けることができず、引用文献2に開示されている技術では、真の白線の検出精度が低くなってしまう問題がある。
【0011】
本発明は、上記事情に鑑み、道路上の車線が二重白線であっても、或いは轍が形成されており、この轍の水溜まりからの反射光によって白線と誤認識し易い状況であっても、走行レーンを区画する左右の走行車線の位置を高精度に推定することのできる車線推定装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するため本発明による車線推定装置は、車両に搭載されて該車両の外部環境を撮像する撮像手段と、予め設定されている複数の車線種毎の車線幅のデータを記憶する記憶手段と、前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両が走行する走行レーンの左右の車線検出点を検出すると共に、該左右の車線検出点を起点として対向する車線側の前記各車線幅の位置に車線候補点を設定する車線候補点設定手段と、前記検出手段で検出した前記車線検出点に対向する車線検出点と前記車線候補点設定手段で設定した前記車線候補点とに基づき曲線近似式を求め、該曲線近似式から前記走行レーンの左右に仮想線を設定する曲線近似処理手段と、前記曲線近似処理手段で設定した仮想線の分散を求め、最小の分散を示す仮想線の左右のペアから左右の少なくとも一方の前記仮想線の車線種を推定する車線種推定手段とを備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、走行レーンの左右の車線検出点を検出し、又この車線検出点を起点として対向する車線側の予め設定されている車線種毎の車線幅の位置に車線候補点を設定し、車線検出点と車線候補点とに基づいて設定した曲線近似式から走行レーンの左右に仮想線を設定し、この仮想線に対する各車線幅毎の車線候補点の分散を求め、最小の分散を示す車線幅に対応する左右の車線種を仮想線の車線種を推定するようにしたので、道路上の車線が二重白線であっても、或いは轍が形成されており、この轍の水溜まりからの反射光によって白線と誤認識し易い状況であっても、車線を高精度に推定することができる。
【図面の簡単な説明】
【0014】
【図1】走行制御装置の構成を示す機能ブロック図
【図2】車線推定装置を示す機能ブロック図
【図3】道路白線認識処理ルーチンを示すフローチャート(その1)
【図4】道路白線認識処理ルーチンを示すフローチャート(その2)
【図5】道路白線認識処理ルーチンを示すフローチャート(その3)
【図6】撮像手段で撮像した画像から走行車線の車線検出点を検出する状態の説明図
【図7】撮像手段で撮像した画像から二重白線の内側誘導線の車線検出点を検出する状態を示す説明図
【図8】撮像手段で撮像した画像から轍の車線検出点を検出する状態を示す説明図
【図9】カーブ走行時の自車両と走行車線との位置関係を仮想平面上に表わす状態を示す説明図
【図10】走行車線と誘導線との各車線幅を示す説明図
【図11】右側走行車線の検出点を起点に左側白線の候補点をプロットする状態を示す説明図
【図12】二重白線の右側誘導線の検出点を起点に左側白線の候補点をプロットする状態を示す説明図
【図13】道路左側に轍が形成されている態様において、(a)は右側検出点を起点に左側候補点をプロットする状態を示す説明図、(b)は左側検出点を起点に右側候補点をプロットする状態を示す説明図、(c)は左側検出点が轍のエッジと判定した場合の態様を示す説明図
【発明を実施するための形態】
【0015】
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す走行制御装置は、画像処理系Aと操舵制御系Bとを有し、画像処理系Aが撮像手段1と画像処理部2と車線推定部9とで構成され、操舵制御系Bが操舵制御部10と操舵アクチュエータ11とで構成されている。尚、本実施形態では、画像処理系Aと操舵制御部10とがカメラユニットに設けられている。又、操舵アクチュエータ11としては、電動モータや油圧モータ等がある。
【0016】
操舵制御部10はマイクロコンピュータを主体に構成されており、CAN(Controller Area Network)通信等の車内通信回線12を通じて操舵アクチュエータ11と双方向通信可能に接続されている。この操舵制御部10は、画像処理系Aから送信される走行車線データに基づき、自車両が走行レーンに描かれている左右の走行車線に沿って走行するようにステアリングのハンドル角を設定し、対応する操舵トルクを操舵アクチュエータ11へ出力する。操舵アクチュエータ11は、操舵制御部10からのハンドル角に基づく操舵トルクでステアリングを動作させて車両の進行方向を調整する。
【0017】
又、図2に示すように、画像処理系Aの撮像手段1は、メインカメラ1aとサブカメラ1bとからなるステレオカメラで構成されている。この両カメラ1a,1bは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央に、所定間隔を開けて水平に設置されている。又、この各カメラ1a,1bにCCDやCMOS等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む車両前方の外部環境が撮像される。
【0018】
両カメラ1a,1bで撮像した一対のアナログ画像が画像処理部2に出力される。画像処理部2は、A/D変換部3と画像補正部4と画像データメモリ5と車線推定部9とを備えている。各カメラ1a,1bで撮像したアナログ画像は、A/D変換部3に設けられている各A/D変換器3a,3bで所定輝度階調のデジタル画像に変換されて画像補正部4に出力される。
【0019】
画像補正部4では、両カメラ1a,1bの取付け位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ1aの出力信号から基準画像データが生成され、又、サブカメラ1bの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ5に格納されると共に、画像処理手段6に出力される。
【0020】
画像処理手段6はイメージプロセッサ7と距離データメモリ8とを備えている。イメージプロセッサ7は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ(自車両から対象物までの距離)を、三角測量の原理を利用して算出し、距離データメモリ8に格納する。
【0021】
又、車線推定部9は、車線候補点設定手段としての車線候補点設定部9aと、曲線近似処理手段としての曲線近似処理部9bと、車線位置設定手段としての車線位置設定部9cと、記憶手段としての固定データメモリ9dとを備えている。固定データメモリ9dには、図10に示すように、走行レーンを区画する左右の走行車線21L,21R間の車線幅(以下「標準レーン幅」と称する)W1、及び二重白線の内側誘導線22間の車線幅(以下「狭レーン幅」と称する)W2の各データと、後述する表1、表2に記載されている車線種判定データT1,T2が格納されている。
【0022】
高速道路の走行レーンは、走行車線21L,21Rが左右に一本ずつ描かれており、又、カーブ等のように車両が走行レーンから逸脱し易い道路では、走行車線21L,21Rの内側に破線状の誘導線(ドットライン)22が描かれた二重白線となっている。尚、高速道路における走行車線21L,21R、及び内側誘導線22の幅員は予め設定範囲に決められており、例えば走行車線21L,21R間の幅員は3.25〜3.5[m]、内側誘導線22間の幅員は2.8〜3.05[m]程度である。従って、車線の間隔が判別できれば、この間隔から車線種を推定することができる。
【0023】
車線候補点設定部9aは、画像データメモリ5に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ8に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上の自車両が走行する走行レーンの両側車線の検出点(以下「車線検出点」と称する)Pを検出し、この車線検出点Pと固定データメモリ9dに格納されている標準レーン幅W1、及び狭レーン幅W2に基づき、互いに対向する車線検出点P側に標準候補点G1、狭候補点G2をそれぞれ設定する。
【0024】
具体的には、今回撮像した1つのフレームの基準画像データ上の1画素幅の水平ライン上を下側(自車両の手前側)から上向き(遠方)に1画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度(輝度差)が閾値以上に大きく変化する条件を満たしている画素を検出する。このエッジ強度は、内側エッジの方が、外側エッジよりも強く表れる。従って、図6に示すように、走行レーンの左右に走行車線21L,21Rが1本ずつ描かれている場合には、この各走行車線21L,21Rの内側エッジが車線検出点Pとして検出される。又、図7に示すように、二重白線の場合は、内側誘導線22の内側エッジが車線検出点Pとして検出される。更に、図8に示すように、一方の走行レーンの走行車線(本実施形態では、左側走行車線21L)に沿って轍25が形成され、この轍25が水溜まりとなり、そこからの太陽光や照明光の反射光が高輝度で両カメラ1a,1bに受光されると、轍25と路面とのエッジ強度が強くなるため、この轍25の内側と路面とのエッジ部に車線検出点Pが検出される。尚、左右の車線検出点Pは、画面下側(自車両の手前側)から画面上方(遠方)へ移動するに従い1画素の距離が長くなるため、相対的に遠方の左右の車線検出点Pは、近方左右の車線検出点Pに比し検出精度が低い。
【0025】
次いで、図9に示すように、基準画像データと比較画像データとに基づいて生成した仮想道路平面上に、距離データに基づいて算出した左右の車線検出点Pをプロットし直す。この仮想道路平面には自車両Mが配設されており、撮像手段1に設けられている両カメラ1a,1b間の車幅方向中央の真下の道路面上の点を原点とし、自車両Mの車幅方向にy軸、前後方向にx軸を取る座標が設定される。尚、符号bは車線と自車両Mとのなす角(ヨー角)であり、このヨー角bについては後述する。又、図面上では、左右の車線検出点Pの点列が疎らにプロットされているが、実際にはより細かい点列となっている。
【0026】
更に、図11〜図13に示すように、この仮想道路平面上には各車線検出点Pを起点に設定した各候補点G1〜G3をそれぞれプロットする。尚、図11〜図13においては、走行レーンを便宜的に直線路として示す。更に、車線検出点P及び各候補点G1〜G3は走行レーンの片側にのみにプロットした状態が示されているが、実際には、この車線検出点Pと各候補点G1〜G3は、走行レーンの左右にプロットされている。
【0027】
曲線近似処理部9bは、車線候補点設定部9aで検出し、基準画像上で検出した左右車線毎の車線検出点Pと車線候補点G1,G2とに基づき最小二乗法により求めた近似曲線である仮想線Lsを左右車線毎に設定する。車線位置設定部9cは、曲線近似処理部9bで設定した仮想線Lsの車線種を推定し、推定した車線種に基づき、自車両Mの走行している走行レーンを区画する左右の走行車線の位置を確定する。尚、この仮想線Lsの車線種を推定する機能が、本発明の車線種推定手段に対応している。
【0028】
上述した各処理部9a〜9cでの処理は、具体的には、図3〜図5に示す道路白線認識処理ルーチンに従って実行される。尚、以下においては、自車両Mが高速道路を走行している場合を想定して説明する。
【0029】
このルーチンは、撮像手段1で撮像した画像の1フレーム毎に実行され、先ず、ステップS1で、左右のペアの車線検出点Pを読込み、仮想道路平面上に車線検出点Pをプロットして、この車線検出点Pの点列を生成する(図9参照)。次いで、ステップS2へ進み、固定データメモリ9dに格納されている標準レーン幅W1と狭レーン幅W2とデータを読込み、ステップS3で、車線検出点Pを起点として対向する車線側の標準レーン幅W1、及び狭レーン幅W2の位置に標準候補点G1、狭候補点G2をプロットする。更に、標準候補点G1と狭候補点G2との間の所定位置、例えば両候補点G1,G2の中間位置に標狭候補点G3をプロットする(図11〜図13参照)。尚、図11〜図13では、標準候補点G1が○、狭候補点G2が□、標狭候補点G3が△で示されている。この各候補点G1〜G3は、走行レーンの左右で検出した車線検出点Pに基づいて左右それぞれにプロットされる。尚、このステップS1〜S3での処理が、車線候補点設定部9aでの処理に対応している。
【0030】
次いで、ステップS4へ進み、走行レーンの左右にそれぞれ1フレームごとにプロットされている車線検出点Pと各候補点G1〜G3との点列の各座標(x,y)に基づき、最小二乗法により、最もフィットする曲線近似となる二次曲線近似式
y=ax2+bx+c
を求め、この二次曲線近似式から候補点G1,G2,G3毎の仮想線Lsを設定する。ここで、定数aは車線の曲率に関するパラメータ、定数bは仮想線に対する自車両の傾き(ヨー角)に関する角度パラメータ、定数cはy軸方向の切片である。
【0031】
従って、上式に示されている各定数a,b,cによって自車両Mを基準とした左右のペアの仮想線Lsが設定される。尚、このステップS4での処理が、曲線近似処理部9bでの処理に対応している。
【0032】
その後、ステップS5へ進み、仮想線Lsに対する各候補点G1〜G3の分散を分析し、ステップS6以下で、分散が最小の候補点に基づき、仮想線Lsが両側真の車線、片側真の車線、両側真の誘導線の何れかであるかを推定する。そして、その推定結果に基づいて仮想線Lsを幅方向にシフトさせて、走行レーンを区画する左右の走行車線21L,21Rに対応する真の車線位置を確定する。
【0033】
すなわち、先ず、ステップS6では、標準候補点G1の分散が最小か否かを調べる。そして、ステップS6において、標準候補点G1の分散が最小と判定した場合は、ステップS21へ進み、最小ではないと判定した場合、すなわち狭候補点G2と標狭候補点G3との何れかの分散が最小であると判定した場合は、ステップS7へ分岐する。
【0034】
標準候補点G1の分散が最小と判定してステップS21へ進むと、今回の仮想線Lsを真の車線位置、すなわち、実際の走行車線21L,21Rの内側エッジを検出したものと確定してルーチンを抜ける。
【0035】
例えば、図6に示すように、走行レーンの両側に1本の走行車線21L,21Rが描かれている高速道路では、左右の車線検出点P間の車線幅は、ほぼ標準レーン幅W1となる。従って、図11に示すように、例えば、先ず、走行レーン右側の車線検出点Pを検出し、次いで、この右側車線検出点Pを起点に走行レーン左側の標準レーン幅W1と狭レーン幅W2との位置に標準候補点G1と狭候補点G2をプロットする。更に、この両レーン幅W1,W2の間(例えば、[(W1+W2)/2]の位置)に、標狭候補点G3をプロットする。
【0036】
尚、図においては、省略しているが、走行レーン左側の走行車線21Lの内側エッジ部には車線検出点Pが設定されている。従って、車線検出点Pは各標準候補点G1に近接する位置に点列として表わされる。そのため、この仮想線Lsに対する各候補点G1,G2,G3の分散は標準候補点G1が最小となるので、今回の仮想線Lsは走行車線21L,21Rの内側エッジを検出したものと判定し、この仮想線Lsを真の車線位置と確定する。
【0037】
一方、ステップS6からステップS7へ分岐すると、仮想線Lsに対して狭候補点G2の分散が最小か否かを調べ、最小と判定された場合はステップS8へ進み、又、狭候補点G2が最小ではない、すなわち、標狭候補点G3の分散が最小と判定された場合は、ステップS14へジャンプする。
【0038】
狭候補点G2の分散が最小と判定されてステップS8へ進むと、固定データメモリ9dに格納されている車線種判定データT1(表1参照)を読込む。
【表1】
【0039】
狭候補点G2の分散が最小であると判定する態様としては、図12に示すような、走行車線21L,21Rの内側に誘導線22が描かれている二重白線以外に、図13に示すような、一方の走行車線(本実施形態では左側走行車線21L)に沿って轍25が形成されており、この轍25の水溜まりからの反射光による輝度差で内側エッジが検出されている場合が想定できる。すなわち、例えば、図13(a)に示すように、左側走行車線21Lの内側に轍25が、左側走行車線21Lに沿って形成されており、この轍25の内側エッジが右側走行車線21Rの内側エッジからほぼ狭レーン幅W2の位置にある場合、当然、この轍25の内側エッジ付近に沿って狭候補点G2の点列がプロットされる。
【0040】
一方、この轍25が水溜まりとなり、その水面からの反射光が両カメラ1a,1bで受光された場合、轍25の内側エッジと路面との輝度差が大きいため、同図(b)に示すように、この轍25の内側エッジに車線検出点Pが設定される。その結果、右側走行車線21R方向には、轍25の内側エッジ付近に設定された車線検出点Pを起点に、標準レーン幅W1、狭レーン幅W2の位置に標準候補点G1、狭候補点G2がプロットされると共に、この両候補点G1,G2間の所定位置に標狭候補点G3がプロットされる。
【0041】
従って、走行レーンの左右にそれぞれプロットされている車線検出点Pと各候補点G1〜G3とに基づき、最小二乗法による曲線近似式を求め、この曲線近似式から各候補点G1,G2,G3毎に仮想線Lsを設定すると、同図(c)に示すように、走行車線21R側では、車線検出点P(同図(a)参照)の近傍に狭候補点G2の点列がプロットされているため、仮想線Lsに対して狭候補点G2の分散が最小となる。一方、走行車線21L側では、轍25の内側エッジに車線検出点Pが設定され、又、この車線検出点Pの近傍には狭候補点G2の点列がプロットされているため(同図(a)参照)、仮想線Lsに対して狭候補点G2の分散が最小となる。尚、轍25が右側走行車線21Rの内側に形成されている場合には、対称の関係で表わされる。
【0042】
従って、左右のそれぞれの仮想線Lsに対して狭候補点G2が共に最小の場合は、上述した図12に示す二重白線以外に、走行レーンの一側に形成された轍25を白線と誤認識した場合が考えられる。ステップS8では、走行レーンの左右に各々設定した仮想線Lsが、二重白線の内側誘導線22を検出したものであるか、一方が走行車線21L(或いは21R)で他方が轍25の内側エッジを認識しているものか否かを判断すべく、上述した車線種判定データT1を参照する。その際、走行レーンの両側の走行車線21L,21Rの外側エッジと路面との輝度差から、この走行車線21L,21Rの外側エッジの検出点(外側車線検出点)Uを設定し(図13(c)参照)、この外側車線検出点Uの点列に基づき最小二乗法により曲線近似式を求め、この曲線近似式から近似曲線Luを設定し、この近似曲線Luと仮想線Lsとの間の距離(線間距離)Yを求める。
【0043】
そして、この線間距離Yと設定しきい値とを比較し、線間距離Yが設定しきい値よりも大きい場合、線太と判定する。尚、この所定値は、二重白線の走行車線21L,21Rの外側エッジから内側誘導線22の内側エッジとの間の距離よりも短く、且つ、走行車線21L(或いは21R)の線幅よりも長い値に設定されている。図11に示すような走行レーンの左右に、走行車線21L,21Rのみが描かれている場合の線間距離Yは短く、一方、図12に示す二重白線や、図13に示す一方に轍25が形成されている場合の線間距離Yは長くなる。
【0044】
従って、車線種判定データT1を参照し、ステップS9,S10で、走行レーン左右の何れが轍25か、或いは二重白線の内側誘導線22かを判定する。そして、左側車線が線太の場合は、走行レーンの左側が轍25で、右側が真の車線であると判定し、ステップS9からステップS11へ進み、左側仮想線Lsを、標準位置側へシフト最大、すなわち、標準レーン幅W1と狭レーン幅W2との差分(W1−W2)だけシフトさせて、ステップS21へ進み、今回の左右の仮想線Lsを真の車線位置とそれぞれ確定してルーチンを抜ける。ここで言う標準位置は、走行車線21L(或いは21R)の内側エッジ位置を指している。
【0045】
その結果、図13(c)に示すように、轍25の内側エッジに設定された仮想線Lsが、真の車線である左側走行車線21Lの内側エッジ上、或いはそれに近接する位置に設定されるため、走行レーン片側の内側誘導線22とほぼ同じ位置に轍25が形成されていても、走行レーンを区画する左右の走行車線位置に仮想線Lsが精度良く設定され、且つ、この仮想線Lsを真の車線位置として確定することが出来る。
【0046】
一方、右側車線が線太の場合は、走行レーンの右側が轍25で、左側が真の車線であると判定し、ステップS10からステップS12へ進み、右側仮想線Lsを、標準位置へシフト最大(W1−W2)でシフトさせてステップS21へ進み、今回の左右の仮想線Lsを真の車線位置と各々確定してルーチンを抜ける。
【0047】
又、左右両車線が線太の場合は、両側が二重白線の内側誘導線22を検出した真の車線と判定し、ステップS10からステップS13へ進み、左右両側の仮想線Lsを、標準位置へシフト最小、すなわち、標準レーン幅W1と狭レーン幅W2との差分の半分((W1−W2)/2)で、それぞれシフトさせて、ステップS21へ進み、今回の左右の仮想線Lsを真の車線位置と各々確定してルーチンを抜ける。その結果、図12に示すように、走行レーンに二重白線が描かれており、内側誘導線22の内側エッジ付近に仮想線Lsが設定された場合であっても、走行レーンを区画する左右の走行車線の内側エッジの位置に仮想線Lsを精度良く設定することができる。
【0048】
一方、ステップS7からステップS14へ分岐すると、固定データメモリ9dに格納されている車線種判定データT2(表2参照)を読込む。
【表2】
【0049】
走行レーンの一側に形成される轍25の内側エッジが、丁度、走行車線21の内側エッジと内側誘導線22の内側エッジとの間に形成された場合、仮想線Ls近傍の候補点としては標狭候補点G3の分散が最小となる。標狭候補点G3の分散が最小であると判定する態様としては、轍25の内側エッジが走行車線21と内側誘導線22との内側エッジ間に形成される以外に、車線幅自体が狭められた場合が想定できる。
【0050】
ステップS14では、走行レーンの左右に各々設定した仮想線Lsの一方が轍25の内側エッジを検出したものか、或いは走行レーン自体が狭められたものであるかを判定すべく、上述した車線種判定データT2を参照する。その際、図示しないが、上述した図13(c)と同様に、走行レーンの両側の走行車線21L,21Rの外側エッジと路面との輝度差から、この走行車線21L,21Rの外側エッジの外側車線検出点Uを設定し、この外側車線検出点Uの点列に基づき最小二乗法により曲線近似式を求め、この曲線近似式から近似曲線Luを設定し、この近似曲線Luと仮想線Lsとの間の距離(線間距離)Yを求める。
【0051】
そして、この線間距離Yと設定しきい値とを比較し、線間距離Yが設定しきい値よりも大きい場合、線太と判定する。尚、この所定値は、走行車線21L,21Rの外側エッジから内側誘導線22の外側エッジとの間の距離よりも短く、且つ、走行車線21L(或いは21R)の線幅よりも長い値に設定されている。
【0052】
そして、左側車線が線太の場合は、走行レーンの左側が内側誘導線22(又は轍25)で、右側が真の車線であると判定し、ステップS15からステップS17へ進み、左側仮想線Lsを、標準位置へシフト最小、すなわち、標準レーン幅W1と狭レーン幅W2との差分の半分((W1−W2)/2)だけシフトさせて、ステップS21へ進み、この左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。その結果、走行レーンの左側であって、上述した内側誘導線22と走行車線21との内側エッジ間に轍25が形成されていても、走行レーンを区画する左右の車線位置上、或いはこの車線位置に近接する位置に仮想線Lsを設定することが出来る。
【0053】
一方、右側車線が線太の場合は、走行レーンの右側が内側誘導線22(又は轍25)で、左側が真の車線であると判定し、ステップS16からステップS18へ進み、右側仮想線Lsを、標準位置へシフト最小((W1−W2)/2)でシフトさせてステップS21へ進み、この左右に仮想線Lsを真の車線位置と確定してルーチンを抜ける。従って、この場合も、走行レーンを区画する左右の走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に仮想線Lsを設定し、且つ確定することが出来る。
【0054】
又、左右両車線が共に線太では無い場合は、走行レーン自体が狭められている、すなわち、両側の仮想線Lsは共に真の車線である走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に設定されていると判定し、ステップS16からステップS19へ進み、左右両車線が中太か否かを調べる。そして、中太の場合は、走行レーンの両側が狭い内側誘導線22であると判定し、ステップS20へ進み、左右仮想線Lsを、標準位置へシフト微小、すなわち標準レーン幅W1と狭レーン幅W2との差分の1/4((W1−W2)/4)だけシフトさせて、ステップS21へ進み、左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。又、左右の両側車線が中太ではないと判断した場合は、そのままステップS21へ進み、左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。
【0055】
従って、この場合も、走行レーンを区画する左右の走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に仮想線Lsを設定し、且つ確定することが出来る。尚、このステップS5〜S19での処理が車線位置設定部9cでの処理に対応している。
【0056】
そして、操舵制御系Bの操舵制御部10では、例えば自車両Mを走行レーンの中央で走行させたい場合、図9に示すように、左右の仮想線Lsを求める二次曲線近似式から、中央の曲線近似式(y=ax2+bx+c)を求め、この中央の曲線近似式から得られる仮想線Lo、すなわち、曲率aに沿って自車両Mが走行するようにハンドル角を制御する。尚、定数cは自車両Mの中央(正確には、両カメラ1a,1bの中間)を原点とするy軸方向のオフセット量(原点からの横位置)であり、本実施形態では、左側を正(+)、右側を負(−)としているため、自車両Mが走行レーンの中央を走行するように設定した場合、中央は原点であるためc=0となる。
【0057】
尚、本発明は、上述した実施の形態に限るものではなく、例えば、上述した車線推定装置は、自車両Mが車線を逸脱しようとしたときに警告を発するレーンキープ制御に適用することも出来る。更に、撮像手段1はメインカメラ1aとサブカメラ1bとからなるステレオカメラである必要はなく、単眼カメラであっても良い。撮像手段として、単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。更に、曲線近似処理部9bで求める曲線近似式は、二次式に限らず三次式であっても良い。
【符号の説明】
【0058】
1…撮像手段、
9…車線推定部、
9a…車線候補点設定部、
9b…曲線近似処理部、
9c…車線位置設定部、
9d…固定データメモリ、
21L…左側走行車線、
21R…右側走行車線、
22…内側誘導線、
25…轍、
G1…標準候補点、
G2…狭候補点、
G3…標狭候補点、
Lo,Ls…仮想線、
Lu…近似曲線、
M…自車両、
P…車線検出点、
T1,T2…車線種判定データ、
U…外側車線検出点、
W1…標準レーン幅、
W2…狭レーン幅
【技術分野】
【0001】
本発明は、車両に搭載されている撮像手段で撮像した前方の外部環境に基づいて走行レーン上に車線に対応する仮想線を設定する車線推定装置に関する。
【背景技術】
【0002】
従来、高速道路等の走行において、自車両前方の走行環境を検出し、検出した走行環境データに基づいて、自車走行レーンの左右を区画する走行車線を検出し、この走行車線に沿って自車両を自動走行させる走行制御や、認識した車線位置から自車両が逸脱すると予測される場合には警告を発して、運転者に注意を促すレーンキープ制御等の運転支援装置が知られている。
【0003】
自車両を走行車線に沿って正確に走行させるためには、この走行車線の位置を正確に推定する必要がある。この走行車線位置を推定する手段としては、車両に搭載されているカメラ(以下、「車載カメラ」と称する)で撮像した自車両前方の画像に基づき、路面と白線との輝度差から白線のエッジを検出し、この白線のエッジから走行車線位置を確定する技術が知られている。
【0004】
しかし、高速道路上の走行車線は、走行レーンを区画する左右の走行車線のみならず、カーブ等には、走行車線とその内側の誘導線(いわゆるドットライン)とからなる二重白線が描かれている場合がある。白線のエッジを路面との輝度差により検出する技術では、道路内側の白線が外側の白線よりも輝度差が明確に現れるため、二重白線では、内側誘導線を走行車線と誤認識しやすい。又、車線と平行に轍が形成されている場合、この轍が水溜まりになると、その水面からの反射光により高輝度が受光されるため、この轍を車線と誤認識してしまう可能性がある。
【0005】
この対策として、例えば特許文献1(特許第3733875号公報)には、車載カメラで撮像した画像に基づいて検出した白線が、轍の水溜まりや二重白線などの疑似白線と判定された場合は、自車両の車線に対する横位置を除く道路パラメータを設定することで、疑似白線を白線と誤認識してしまうことを防止する技術が開示されている。
【0006】
又、引用文献2(特許第3603836号公報)には、車載カメラで撮像した画像に基づいて、対を成す左右の白線候補点を検出し、検出した各白線候補点の中から垂直方向が同一位置の左右対を成す候補点対を検出し、この各候補点対の水平距離と垂直位置との関係から、直線近似式を求め、候補点対の垂直方向位置に基づいて直線近似式から算出した水平距離と画像から求めた候補点対の水平距離との差に基づいて、各候補点対の中から真の白線候補点を抽出し、この真の白線候補点に基づいて道路パラメータを設定することで、真の白線候補点の検出精度を高めるようにした技術が開示されている。
【0007】
この引用文献2に開示されている技術によれば、走行車線は左右に平行に設けられており、カメラで撮像した左右の走行車線を直線近似すると消失点で車線幅(レーン幅)がゼロになることに着目し、左右それぞれに、複数の直線候補があっても、この近似直線の消失点が一致する場合は二重白線であると判定することができる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第3733875号公報
【特許文献2】特許第3603836号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、引用文献1に開示されている技術では、疑似白線が検出された場合、横位置を除いて道路パラメータを設定しているため、例えば走行レーンの中央等、任意の位置を走行させようとした場合、横位置データが無いため、自車両の走行ラインを走行レーンの中央に設定することができず、走行制御が不安定化してしまう不都合がある。
【0010】
又、実際の高速道路等の路面に描かれている二重白線の内側誘導線(ドットライン)は、その上を走行車両のタイヤが頻繁に通過するため、かすれている場合も多く、内側誘導線のエッジと路面との輝度差が少なく、内側誘導線を検出することが困難な場合がある。このような場合、外側の真の白線と内側誘導線との各候補点が、特に消失点付近では明確に切り分けることができず、引用文献2に開示されている技術では、真の白線の検出精度が低くなってしまう問題がある。
【0011】
本発明は、上記事情に鑑み、道路上の車線が二重白線であっても、或いは轍が形成されており、この轍の水溜まりからの反射光によって白線と誤認識し易い状況であっても、走行レーンを区画する左右の走行車線の位置を高精度に推定することのできる車線推定装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するため本発明による車線推定装置は、車両に搭載されて該車両の外部環境を撮像する撮像手段と、予め設定されている複数の車線種毎の車線幅のデータを記憶する記憶手段と、前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両が走行する走行レーンの左右の車線検出点を検出すると共に、該左右の車線検出点を起点として対向する車線側の前記各車線幅の位置に車線候補点を設定する車線候補点設定手段と、前記検出手段で検出した前記車線検出点に対向する車線検出点と前記車線候補点設定手段で設定した前記車線候補点とに基づき曲線近似式を求め、該曲線近似式から前記走行レーンの左右に仮想線を設定する曲線近似処理手段と、前記曲線近似処理手段で設定した仮想線の分散を求め、最小の分散を示す仮想線の左右のペアから左右の少なくとも一方の前記仮想線の車線種を推定する車線種推定手段とを備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、走行レーンの左右の車線検出点を検出し、又この車線検出点を起点として対向する車線側の予め設定されている車線種毎の車線幅の位置に車線候補点を設定し、車線検出点と車線候補点とに基づいて設定した曲線近似式から走行レーンの左右に仮想線を設定し、この仮想線に対する各車線幅毎の車線候補点の分散を求め、最小の分散を示す車線幅に対応する左右の車線種を仮想線の車線種を推定するようにしたので、道路上の車線が二重白線であっても、或いは轍が形成されており、この轍の水溜まりからの反射光によって白線と誤認識し易い状況であっても、車線を高精度に推定することができる。
【図面の簡単な説明】
【0014】
【図1】走行制御装置の構成を示す機能ブロック図
【図2】車線推定装置を示す機能ブロック図
【図3】道路白線認識処理ルーチンを示すフローチャート(その1)
【図4】道路白線認識処理ルーチンを示すフローチャート(その2)
【図5】道路白線認識処理ルーチンを示すフローチャート(その3)
【図6】撮像手段で撮像した画像から走行車線の車線検出点を検出する状態の説明図
【図7】撮像手段で撮像した画像から二重白線の内側誘導線の車線検出点を検出する状態を示す説明図
【図8】撮像手段で撮像した画像から轍の車線検出点を検出する状態を示す説明図
【図9】カーブ走行時の自車両と走行車線との位置関係を仮想平面上に表わす状態を示す説明図
【図10】走行車線と誘導線との各車線幅を示す説明図
【図11】右側走行車線の検出点を起点に左側白線の候補点をプロットする状態を示す説明図
【図12】二重白線の右側誘導線の検出点を起点に左側白線の候補点をプロットする状態を示す説明図
【図13】道路左側に轍が形成されている態様において、(a)は右側検出点を起点に左側候補点をプロットする状態を示す説明図、(b)は左側検出点を起点に右側候補点をプロットする状態を示す説明図、(c)は左側検出点が轍のエッジと判定した場合の態様を示す説明図
【発明を実施するための形態】
【0015】
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す走行制御装置は、画像処理系Aと操舵制御系Bとを有し、画像処理系Aが撮像手段1と画像処理部2と車線推定部9とで構成され、操舵制御系Bが操舵制御部10と操舵アクチュエータ11とで構成されている。尚、本実施形態では、画像処理系Aと操舵制御部10とがカメラユニットに設けられている。又、操舵アクチュエータ11としては、電動モータや油圧モータ等がある。
【0016】
操舵制御部10はマイクロコンピュータを主体に構成されており、CAN(Controller Area Network)通信等の車内通信回線12を通じて操舵アクチュエータ11と双方向通信可能に接続されている。この操舵制御部10は、画像処理系Aから送信される走行車線データに基づき、自車両が走行レーンに描かれている左右の走行車線に沿って走行するようにステアリングのハンドル角を設定し、対応する操舵トルクを操舵アクチュエータ11へ出力する。操舵アクチュエータ11は、操舵制御部10からのハンドル角に基づく操舵トルクでステアリングを動作させて車両の進行方向を調整する。
【0017】
又、図2に示すように、画像処理系Aの撮像手段1は、メインカメラ1aとサブカメラ1bとからなるステレオカメラで構成されている。この両カメラ1a,1bは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央に、所定間隔を開けて水平に設置されている。又、この各カメラ1a,1bにCCDやCMOS等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む車両前方の外部環境が撮像される。
【0018】
両カメラ1a,1bで撮像した一対のアナログ画像が画像処理部2に出力される。画像処理部2は、A/D変換部3と画像補正部4と画像データメモリ5と車線推定部9とを備えている。各カメラ1a,1bで撮像したアナログ画像は、A/D変換部3に設けられている各A/D変換器3a,3bで所定輝度階調のデジタル画像に変換されて画像補正部4に出力される。
【0019】
画像補正部4では、両カメラ1a,1bの取付け位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ1aの出力信号から基準画像データが生成され、又、サブカメラ1bの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ5に格納されると共に、画像処理手段6に出力される。
【0020】
画像処理手段6はイメージプロセッサ7と距離データメモリ8とを備えている。イメージプロセッサ7は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ(自車両から対象物までの距離)を、三角測量の原理を利用して算出し、距離データメモリ8に格納する。
【0021】
又、車線推定部9は、車線候補点設定手段としての車線候補点設定部9aと、曲線近似処理手段としての曲線近似処理部9bと、車線位置設定手段としての車線位置設定部9cと、記憶手段としての固定データメモリ9dとを備えている。固定データメモリ9dには、図10に示すように、走行レーンを区画する左右の走行車線21L,21R間の車線幅(以下「標準レーン幅」と称する)W1、及び二重白線の内側誘導線22間の車線幅(以下「狭レーン幅」と称する)W2の各データと、後述する表1、表2に記載されている車線種判定データT1,T2が格納されている。
【0022】
高速道路の走行レーンは、走行車線21L,21Rが左右に一本ずつ描かれており、又、カーブ等のように車両が走行レーンから逸脱し易い道路では、走行車線21L,21Rの内側に破線状の誘導線(ドットライン)22が描かれた二重白線となっている。尚、高速道路における走行車線21L,21R、及び内側誘導線22の幅員は予め設定範囲に決められており、例えば走行車線21L,21R間の幅員は3.25〜3.5[m]、内側誘導線22間の幅員は2.8〜3.05[m]程度である。従って、車線の間隔が判別できれば、この間隔から車線種を推定することができる。
【0023】
車線候補点設定部9aは、画像データメモリ5に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ8に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上の自車両が走行する走行レーンの両側車線の検出点(以下「車線検出点」と称する)Pを検出し、この車線検出点Pと固定データメモリ9dに格納されている標準レーン幅W1、及び狭レーン幅W2に基づき、互いに対向する車線検出点P側に標準候補点G1、狭候補点G2をそれぞれ設定する。
【0024】
具体的には、今回撮像した1つのフレームの基準画像データ上の1画素幅の水平ライン上を下側(自車両の手前側)から上向き(遠方)に1画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度(輝度差)が閾値以上に大きく変化する条件を満たしている画素を検出する。このエッジ強度は、内側エッジの方が、外側エッジよりも強く表れる。従って、図6に示すように、走行レーンの左右に走行車線21L,21Rが1本ずつ描かれている場合には、この各走行車線21L,21Rの内側エッジが車線検出点Pとして検出される。又、図7に示すように、二重白線の場合は、内側誘導線22の内側エッジが車線検出点Pとして検出される。更に、図8に示すように、一方の走行レーンの走行車線(本実施形態では、左側走行車線21L)に沿って轍25が形成され、この轍25が水溜まりとなり、そこからの太陽光や照明光の反射光が高輝度で両カメラ1a,1bに受光されると、轍25と路面とのエッジ強度が強くなるため、この轍25の内側と路面とのエッジ部に車線検出点Pが検出される。尚、左右の車線検出点Pは、画面下側(自車両の手前側)から画面上方(遠方)へ移動するに従い1画素の距離が長くなるため、相対的に遠方の左右の車線検出点Pは、近方左右の車線検出点Pに比し検出精度が低い。
【0025】
次いで、図9に示すように、基準画像データと比較画像データとに基づいて生成した仮想道路平面上に、距離データに基づいて算出した左右の車線検出点Pをプロットし直す。この仮想道路平面には自車両Mが配設されており、撮像手段1に設けられている両カメラ1a,1b間の車幅方向中央の真下の道路面上の点を原点とし、自車両Mの車幅方向にy軸、前後方向にx軸を取る座標が設定される。尚、符号bは車線と自車両Mとのなす角(ヨー角)であり、このヨー角bについては後述する。又、図面上では、左右の車線検出点Pの点列が疎らにプロットされているが、実際にはより細かい点列となっている。
【0026】
更に、図11〜図13に示すように、この仮想道路平面上には各車線検出点Pを起点に設定した各候補点G1〜G3をそれぞれプロットする。尚、図11〜図13においては、走行レーンを便宜的に直線路として示す。更に、車線検出点P及び各候補点G1〜G3は走行レーンの片側にのみにプロットした状態が示されているが、実際には、この車線検出点Pと各候補点G1〜G3は、走行レーンの左右にプロットされている。
【0027】
曲線近似処理部9bは、車線候補点設定部9aで検出し、基準画像上で検出した左右車線毎の車線検出点Pと車線候補点G1,G2とに基づき最小二乗法により求めた近似曲線である仮想線Lsを左右車線毎に設定する。車線位置設定部9cは、曲線近似処理部9bで設定した仮想線Lsの車線種を推定し、推定した車線種に基づき、自車両Mの走行している走行レーンを区画する左右の走行車線の位置を確定する。尚、この仮想線Lsの車線種を推定する機能が、本発明の車線種推定手段に対応している。
【0028】
上述した各処理部9a〜9cでの処理は、具体的には、図3〜図5に示す道路白線認識処理ルーチンに従って実行される。尚、以下においては、自車両Mが高速道路を走行している場合を想定して説明する。
【0029】
このルーチンは、撮像手段1で撮像した画像の1フレーム毎に実行され、先ず、ステップS1で、左右のペアの車線検出点Pを読込み、仮想道路平面上に車線検出点Pをプロットして、この車線検出点Pの点列を生成する(図9参照)。次いで、ステップS2へ進み、固定データメモリ9dに格納されている標準レーン幅W1と狭レーン幅W2とデータを読込み、ステップS3で、車線検出点Pを起点として対向する車線側の標準レーン幅W1、及び狭レーン幅W2の位置に標準候補点G1、狭候補点G2をプロットする。更に、標準候補点G1と狭候補点G2との間の所定位置、例えば両候補点G1,G2の中間位置に標狭候補点G3をプロットする(図11〜図13参照)。尚、図11〜図13では、標準候補点G1が○、狭候補点G2が□、標狭候補点G3が△で示されている。この各候補点G1〜G3は、走行レーンの左右で検出した車線検出点Pに基づいて左右それぞれにプロットされる。尚、このステップS1〜S3での処理が、車線候補点設定部9aでの処理に対応している。
【0030】
次いで、ステップS4へ進み、走行レーンの左右にそれぞれ1フレームごとにプロットされている車線検出点Pと各候補点G1〜G3との点列の各座標(x,y)に基づき、最小二乗法により、最もフィットする曲線近似となる二次曲線近似式
y=ax2+bx+c
を求め、この二次曲線近似式から候補点G1,G2,G3毎の仮想線Lsを設定する。ここで、定数aは車線の曲率に関するパラメータ、定数bは仮想線に対する自車両の傾き(ヨー角)に関する角度パラメータ、定数cはy軸方向の切片である。
【0031】
従って、上式に示されている各定数a,b,cによって自車両Mを基準とした左右のペアの仮想線Lsが設定される。尚、このステップS4での処理が、曲線近似処理部9bでの処理に対応している。
【0032】
その後、ステップS5へ進み、仮想線Lsに対する各候補点G1〜G3の分散を分析し、ステップS6以下で、分散が最小の候補点に基づき、仮想線Lsが両側真の車線、片側真の車線、両側真の誘導線の何れかであるかを推定する。そして、その推定結果に基づいて仮想線Lsを幅方向にシフトさせて、走行レーンを区画する左右の走行車線21L,21Rに対応する真の車線位置を確定する。
【0033】
すなわち、先ず、ステップS6では、標準候補点G1の分散が最小か否かを調べる。そして、ステップS6において、標準候補点G1の分散が最小と判定した場合は、ステップS21へ進み、最小ではないと判定した場合、すなわち狭候補点G2と標狭候補点G3との何れかの分散が最小であると判定した場合は、ステップS7へ分岐する。
【0034】
標準候補点G1の分散が最小と判定してステップS21へ進むと、今回の仮想線Lsを真の車線位置、すなわち、実際の走行車線21L,21Rの内側エッジを検出したものと確定してルーチンを抜ける。
【0035】
例えば、図6に示すように、走行レーンの両側に1本の走行車線21L,21Rが描かれている高速道路では、左右の車線検出点P間の車線幅は、ほぼ標準レーン幅W1となる。従って、図11に示すように、例えば、先ず、走行レーン右側の車線検出点Pを検出し、次いで、この右側車線検出点Pを起点に走行レーン左側の標準レーン幅W1と狭レーン幅W2との位置に標準候補点G1と狭候補点G2をプロットする。更に、この両レーン幅W1,W2の間(例えば、[(W1+W2)/2]の位置)に、標狭候補点G3をプロットする。
【0036】
尚、図においては、省略しているが、走行レーン左側の走行車線21Lの内側エッジ部には車線検出点Pが設定されている。従って、車線検出点Pは各標準候補点G1に近接する位置に点列として表わされる。そのため、この仮想線Lsに対する各候補点G1,G2,G3の分散は標準候補点G1が最小となるので、今回の仮想線Lsは走行車線21L,21Rの内側エッジを検出したものと判定し、この仮想線Lsを真の車線位置と確定する。
【0037】
一方、ステップS6からステップS7へ分岐すると、仮想線Lsに対して狭候補点G2の分散が最小か否かを調べ、最小と判定された場合はステップS8へ進み、又、狭候補点G2が最小ではない、すなわち、標狭候補点G3の分散が最小と判定された場合は、ステップS14へジャンプする。
【0038】
狭候補点G2の分散が最小と判定されてステップS8へ進むと、固定データメモリ9dに格納されている車線種判定データT1(表1参照)を読込む。
【表1】
【0039】
狭候補点G2の分散が最小であると判定する態様としては、図12に示すような、走行車線21L,21Rの内側に誘導線22が描かれている二重白線以外に、図13に示すような、一方の走行車線(本実施形態では左側走行車線21L)に沿って轍25が形成されており、この轍25の水溜まりからの反射光による輝度差で内側エッジが検出されている場合が想定できる。すなわち、例えば、図13(a)に示すように、左側走行車線21Lの内側に轍25が、左側走行車線21Lに沿って形成されており、この轍25の内側エッジが右側走行車線21Rの内側エッジからほぼ狭レーン幅W2の位置にある場合、当然、この轍25の内側エッジ付近に沿って狭候補点G2の点列がプロットされる。
【0040】
一方、この轍25が水溜まりとなり、その水面からの反射光が両カメラ1a,1bで受光された場合、轍25の内側エッジと路面との輝度差が大きいため、同図(b)に示すように、この轍25の内側エッジに車線検出点Pが設定される。その結果、右側走行車線21R方向には、轍25の内側エッジ付近に設定された車線検出点Pを起点に、標準レーン幅W1、狭レーン幅W2の位置に標準候補点G1、狭候補点G2がプロットされると共に、この両候補点G1,G2間の所定位置に標狭候補点G3がプロットされる。
【0041】
従って、走行レーンの左右にそれぞれプロットされている車線検出点Pと各候補点G1〜G3とに基づき、最小二乗法による曲線近似式を求め、この曲線近似式から各候補点G1,G2,G3毎に仮想線Lsを設定すると、同図(c)に示すように、走行車線21R側では、車線検出点P(同図(a)参照)の近傍に狭候補点G2の点列がプロットされているため、仮想線Lsに対して狭候補点G2の分散が最小となる。一方、走行車線21L側では、轍25の内側エッジに車線検出点Pが設定され、又、この車線検出点Pの近傍には狭候補点G2の点列がプロットされているため(同図(a)参照)、仮想線Lsに対して狭候補点G2の分散が最小となる。尚、轍25が右側走行車線21Rの内側に形成されている場合には、対称の関係で表わされる。
【0042】
従って、左右のそれぞれの仮想線Lsに対して狭候補点G2が共に最小の場合は、上述した図12に示す二重白線以外に、走行レーンの一側に形成された轍25を白線と誤認識した場合が考えられる。ステップS8では、走行レーンの左右に各々設定した仮想線Lsが、二重白線の内側誘導線22を検出したものであるか、一方が走行車線21L(或いは21R)で他方が轍25の内側エッジを認識しているものか否かを判断すべく、上述した車線種判定データT1を参照する。その際、走行レーンの両側の走行車線21L,21Rの外側エッジと路面との輝度差から、この走行車線21L,21Rの外側エッジの検出点(外側車線検出点)Uを設定し(図13(c)参照)、この外側車線検出点Uの点列に基づき最小二乗法により曲線近似式を求め、この曲線近似式から近似曲線Luを設定し、この近似曲線Luと仮想線Lsとの間の距離(線間距離)Yを求める。
【0043】
そして、この線間距離Yと設定しきい値とを比較し、線間距離Yが設定しきい値よりも大きい場合、線太と判定する。尚、この所定値は、二重白線の走行車線21L,21Rの外側エッジから内側誘導線22の内側エッジとの間の距離よりも短く、且つ、走行車線21L(或いは21R)の線幅よりも長い値に設定されている。図11に示すような走行レーンの左右に、走行車線21L,21Rのみが描かれている場合の線間距離Yは短く、一方、図12に示す二重白線や、図13に示す一方に轍25が形成されている場合の線間距離Yは長くなる。
【0044】
従って、車線種判定データT1を参照し、ステップS9,S10で、走行レーン左右の何れが轍25か、或いは二重白線の内側誘導線22かを判定する。そして、左側車線が線太の場合は、走行レーンの左側が轍25で、右側が真の車線であると判定し、ステップS9からステップS11へ進み、左側仮想線Lsを、標準位置側へシフト最大、すなわち、標準レーン幅W1と狭レーン幅W2との差分(W1−W2)だけシフトさせて、ステップS21へ進み、今回の左右の仮想線Lsを真の車線位置とそれぞれ確定してルーチンを抜ける。ここで言う標準位置は、走行車線21L(或いは21R)の内側エッジ位置を指している。
【0045】
その結果、図13(c)に示すように、轍25の内側エッジに設定された仮想線Lsが、真の車線である左側走行車線21Lの内側エッジ上、或いはそれに近接する位置に設定されるため、走行レーン片側の内側誘導線22とほぼ同じ位置に轍25が形成されていても、走行レーンを区画する左右の走行車線位置に仮想線Lsが精度良く設定され、且つ、この仮想線Lsを真の車線位置として確定することが出来る。
【0046】
一方、右側車線が線太の場合は、走行レーンの右側が轍25で、左側が真の車線であると判定し、ステップS10からステップS12へ進み、右側仮想線Lsを、標準位置へシフト最大(W1−W2)でシフトさせてステップS21へ進み、今回の左右の仮想線Lsを真の車線位置と各々確定してルーチンを抜ける。
【0047】
又、左右両車線が線太の場合は、両側が二重白線の内側誘導線22を検出した真の車線と判定し、ステップS10からステップS13へ進み、左右両側の仮想線Lsを、標準位置へシフト最小、すなわち、標準レーン幅W1と狭レーン幅W2との差分の半分((W1−W2)/2)で、それぞれシフトさせて、ステップS21へ進み、今回の左右の仮想線Lsを真の車線位置と各々確定してルーチンを抜ける。その結果、図12に示すように、走行レーンに二重白線が描かれており、内側誘導線22の内側エッジ付近に仮想線Lsが設定された場合であっても、走行レーンを区画する左右の走行車線の内側エッジの位置に仮想線Lsを精度良く設定することができる。
【0048】
一方、ステップS7からステップS14へ分岐すると、固定データメモリ9dに格納されている車線種判定データT2(表2参照)を読込む。
【表2】
【0049】
走行レーンの一側に形成される轍25の内側エッジが、丁度、走行車線21の内側エッジと内側誘導線22の内側エッジとの間に形成された場合、仮想線Ls近傍の候補点としては標狭候補点G3の分散が最小となる。標狭候補点G3の分散が最小であると判定する態様としては、轍25の内側エッジが走行車線21と内側誘導線22との内側エッジ間に形成される以外に、車線幅自体が狭められた場合が想定できる。
【0050】
ステップS14では、走行レーンの左右に各々設定した仮想線Lsの一方が轍25の内側エッジを検出したものか、或いは走行レーン自体が狭められたものであるかを判定すべく、上述した車線種判定データT2を参照する。その際、図示しないが、上述した図13(c)と同様に、走行レーンの両側の走行車線21L,21Rの外側エッジと路面との輝度差から、この走行車線21L,21Rの外側エッジの外側車線検出点Uを設定し、この外側車線検出点Uの点列に基づき最小二乗法により曲線近似式を求め、この曲線近似式から近似曲線Luを設定し、この近似曲線Luと仮想線Lsとの間の距離(線間距離)Yを求める。
【0051】
そして、この線間距離Yと設定しきい値とを比較し、線間距離Yが設定しきい値よりも大きい場合、線太と判定する。尚、この所定値は、走行車線21L,21Rの外側エッジから内側誘導線22の外側エッジとの間の距離よりも短く、且つ、走行車線21L(或いは21R)の線幅よりも長い値に設定されている。
【0052】
そして、左側車線が線太の場合は、走行レーンの左側が内側誘導線22(又は轍25)で、右側が真の車線であると判定し、ステップS15からステップS17へ進み、左側仮想線Lsを、標準位置へシフト最小、すなわち、標準レーン幅W1と狭レーン幅W2との差分の半分((W1−W2)/2)だけシフトさせて、ステップS21へ進み、この左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。その結果、走行レーンの左側であって、上述した内側誘導線22と走行車線21との内側エッジ間に轍25が形成されていても、走行レーンを区画する左右の車線位置上、或いはこの車線位置に近接する位置に仮想線Lsを設定することが出来る。
【0053】
一方、右側車線が線太の場合は、走行レーンの右側が内側誘導線22(又は轍25)で、左側が真の車線であると判定し、ステップS16からステップS18へ進み、右側仮想線Lsを、標準位置へシフト最小((W1−W2)/2)でシフトさせてステップS21へ進み、この左右に仮想線Lsを真の車線位置と確定してルーチンを抜ける。従って、この場合も、走行レーンを区画する左右の走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に仮想線Lsを設定し、且つ確定することが出来る。
【0054】
又、左右両車線が共に線太では無い場合は、走行レーン自体が狭められている、すなわち、両側の仮想線Lsは共に真の車線である走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に設定されていると判定し、ステップS16からステップS19へ進み、左右両車線が中太か否かを調べる。そして、中太の場合は、走行レーンの両側が狭い内側誘導線22であると判定し、ステップS20へ進み、左右仮想線Lsを、標準位置へシフト微小、すなわち標準レーン幅W1と狭レーン幅W2との差分の1/4((W1−W2)/4)だけシフトさせて、ステップS21へ進み、左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。又、左右の両側車線が中太ではないと判断した場合は、そのままステップS21へ進み、左右の仮想線Lsを真の車線位置と確定してルーチンを抜ける。
【0055】
従って、この場合も、走行レーンを区画する左右の走行車線21の内側エッジ上、或いはこの内側エッジに近接する位置に仮想線Lsを設定し、且つ確定することが出来る。尚、このステップS5〜S19での処理が車線位置設定部9cでの処理に対応している。
【0056】
そして、操舵制御系Bの操舵制御部10では、例えば自車両Mを走行レーンの中央で走行させたい場合、図9に示すように、左右の仮想線Lsを求める二次曲線近似式から、中央の曲線近似式(y=ax2+bx+c)を求め、この中央の曲線近似式から得られる仮想線Lo、すなわち、曲率aに沿って自車両Mが走行するようにハンドル角を制御する。尚、定数cは自車両Mの中央(正確には、両カメラ1a,1bの中間)を原点とするy軸方向のオフセット量(原点からの横位置)であり、本実施形態では、左側を正(+)、右側を負(−)としているため、自車両Mが走行レーンの中央を走行するように設定した場合、中央は原点であるためc=0となる。
【0057】
尚、本発明は、上述した実施の形態に限るものではなく、例えば、上述した車線推定装置は、自車両Mが車線を逸脱しようとしたときに警告を発するレーンキープ制御に適用することも出来る。更に、撮像手段1はメインカメラ1aとサブカメラ1bとからなるステレオカメラである必要はなく、単眼カメラであっても良い。撮像手段として、単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。更に、曲線近似処理部9bで求める曲線近似式は、二次式に限らず三次式であっても良い。
【符号の説明】
【0058】
1…撮像手段、
9…車線推定部、
9a…車線候補点設定部、
9b…曲線近似処理部、
9c…車線位置設定部、
9d…固定データメモリ、
21L…左側走行車線、
21R…右側走行車線、
22…内側誘導線、
25…轍、
G1…標準候補点、
G2…狭候補点、
G3…標狭候補点、
Lo,Ls…仮想線、
Lu…近似曲線、
M…自車両、
P…車線検出点、
T1,T2…車線種判定データ、
U…外側車線検出点、
W1…標準レーン幅、
W2…狭レーン幅
【特許請求の範囲】
【請求項1】
車両に搭載されて該車両の外部環境を撮像する撮像手段と、
予め設定されている複数の車線種毎の車線幅のデータを記憶する記憶手段と、
前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両が走行する走行レーンの左右の車線検出点を検出すると共に、該左右の車線検出点を起点として対向する車線側の前記各車線幅の位置に車線候補点を設定する車線候補点設定手段と、
前記検出手段で検出した前記車線検出点に対向する車線検出点と前記車線候補点設定手段で設定した前記車線候補点とに基づき曲線近似式を求め、該曲線近似式から前記走行レーンの左右に仮想線を設定する曲線近似処理手段と、
前記曲線近似処理手段で設定した仮想線の分散を求め、最小の分散を示す仮想線の左右のペアから左右の少なくとも一方の前記仮想線の車線種を推定する車線種推定手段と
を備えることを特徴とする車線推定装置。
【請求項2】
前記記憶手段に記憶されている前記車線幅のデータは、前記走行レーンの左右を区画する走行車線の内側エッジ間を示す標準幅のデータと二重白線の内側誘導線の内側エッジ間を示す狭幅のデータとを有し、
前記車線種推定手段で推定する前記車線種は、少なくとも前記走行レーンの左右の前記走行車線に対応する両側真の車線と片側の該走行車線に対応する片側真の車線と左右の前記内側誘導線に対応する両側誘導線である
ことを特徴とする請求項1記載の車線推定装置。
【請求項3】
前記車線種推定手段で車線種が両側真の車線と推定された場合は該仮想線の位置を真の車線位置と確定する車線位置設定手段を備える
ことを特徴とする請求項2記載の車線推定装置。
【請求項4】
前記車線種推定手段で、車線種が前記片側真の車線と推定された場合、前記車線位置設定手段は、前記走行車線の外側エッジと前記仮想線との間の距離に基づいて、前記仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、該仮想線の位置を真の車線位置として確定すると共に他方の仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、又前記仮想線が誘導線と判定された場合は、他方の仮想線の位置を真の車線位置として確定すると共に該仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2記載の車線推定装置。
【請求項5】
前記車線種推定手段で、仮想線の車線種が前記両側誘導線と判定された場合、
前記車線位置設定手段は、前記走行車線の外側エッジと前記仮想線との間の距離に基づいて、前記仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、該仮想線の位置を真の車線位置として確定すると共に他方の仮想線を前記標準幅と前記狭幅との差だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、又前記仮想線が誘導線と判定された場合は、他方の仮想線を前記他方の走行車線の外側エッジと前記他方の仮想線との間の距離に基づいて、前記他方の仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、他方の仮想線の位置を真の車線位置として確定すると共に該仮想線を前記標準幅と前記狭幅との差のだけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、両側仮想線が誘導線と判定された場合、前記車線位置設定手段は左右の前記仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側に各々シフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2に記載の車線推定装置。
【請求項6】
前記車線種推定手段で、前記左右の仮想線が片側真の車線と推定された場合、前記車線位置設定手段は、前記仮想線と該仮想線側の前記走行車線の外側エッジと距離に基づいて前記片側真の車線が前記走行車線か前記誘導線か或いは該走行車線と該誘導線との間にある線かを判定し、両側仮想線が該走行車線と該誘導線との間の線と判定した場合は、前記左右の仮想線を前記標準幅と前記狭幅との差の4分の1だけ前記走行レーンの左右に各々シフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2記載の車線推定装置。
【請求項1】
車両に搭載されて該車両の外部環境を撮像する撮像手段と、
予め設定されている複数の車線種毎の車線幅のデータを記憶する記憶手段と、
前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両が走行する走行レーンの左右の車線検出点を検出すると共に、該左右の車線検出点を起点として対向する車線側の前記各車線幅の位置に車線候補点を設定する車線候補点設定手段と、
前記検出手段で検出した前記車線検出点に対向する車線検出点と前記車線候補点設定手段で設定した前記車線候補点とに基づき曲線近似式を求め、該曲線近似式から前記走行レーンの左右に仮想線を設定する曲線近似処理手段と、
前記曲線近似処理手段で設定した仮想線の分散を求め、最小の分散を示す仮想線の左右のペアから左右の少なくとも一方の前記仮想線の車線種を推定する車線種推定手段と
を備えることを特徴とする車線推定装置。
【請求項2】
前記記憶手段に記憶されている前記車線幅のデータは、前記走行レーンの左右を区画する走行車線の内側エッジ間を示す標準幅のデータと二重白線の内側誘導線の内側エッジ間を示す狭幅のデータとを有し、
前記車線種推定手段で推定する前記車線種は、少なくとも前記走行レーンの左右の前記走行車線に対応する両側真の車線と片側の該走行車線に対応する片側真の車線と左右の前記内側誘導線に対応する両側誘導線である
ことを特徴とする請求項1記載の車線推定装置。
【請求項3】
前記車線種推定手段で車線種が両側真の車線と推定された場合は該仮想線の位置を真の車線位置と確定する車線位置設定手段を備える
ことを特徴とする請求項2記載の車線推定装置。
【請求項4】
前記車線種推定手段で、車線種が前記片側真の車線と推定された場合、前記車線位置設定手段は、前記走行車線の外側エッジと前記仮想線との間の距離に基づいて、前記仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、該仮想線の位置を真の車線位置として確定すると共に他方の仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、又前記仮想線が誘導線と判定された場合は、他方の仮想線の位置を真の車線位置として確定すると共に該仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2記載の車線推定装置。
【請求項5】
前記車線種推定手段で、仮想線の車線種が前記両側誘導線と判定された場合、
前記車線位置設定手段は、前記走行車線の外側エッジと前記仮想線との間の距離に基づいて、前記仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、該仮想線の位置を真の車線位置として確定すると共に他方の仮想線を前記標準幅と前記狭幅との差だけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、又前記仮想線が誘導線と判定された場合は、他方の仮想線を前記他方の走行車線の外側エッジと前記他方の仮想線との間の距離に基づいて、前記他方の仮想線が前記走行車線か前記誘導線かを判定し、該走行車線と判定した場合は、他方の仮想線の位置を真の車線位置として確定すると共に該仮想線を前記標準幅と前記狭幅との差のだけ前記走行レーンの外側にシフトさせた位置を真の車線位置として確定し、両側仮想線が誘導線と判定された場合、前記車線位置設定手段は左右の前記仮想線を前記標準幅と前記狭幅との差の半分だけ前記走行レーンの外側に各々シフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2に記載の車線推定装置。
【請求項6】
前記車線種推定手段で、前記左右の仮想線が片側真の車線と推定された場合、前記車線位置設定手段は、前記仮想線と該仮想線側の前記走行車線の外側エッジと距離に基づいて前記片側真の車線が前記走行車線か前記誘導線か或いは該走行車線と該誘導線との間にある線かを判定し、両側仮想線が該走行車線と該誘導線との間の線と判定した場合は、前記左右の仮想線を前記標準幅と前記狭幅との差の4分の1だけ前記走行レーンの左右に各々シフトさせた位置を真の車線位置として確定する
ことを特徴とする請求項2記載の車線推定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−58983(P2012−58983A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−201204(P2010−201204)
【出願日】平成22年9月8日(2010.9.8)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月8日(2010.9.8)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]