車線認識装置
【課題】曲率の大きなカーブ路を走行するに際し、撮像手段で撮像した画像から抽出した車線候補点の点列に基づいて推定した車線と自車両との間のヨー角にずれが生じている場合、それを修正し、実際に即したヨー角を設定できるようにする。
【解決手段】車線候補点検出部９ａは撮像手段２で撮像した画像に基づいて自車両Ｍの走行レーンを区画する車線候補点Ｐの点列を検出する。曲線近似処理部９ｂは車線候補点Ｐの点列に基づき二次曲線近似式（ｙ＝aｘ２＋bｘ＋c）を求め、曲率に関するパラメータに対応する定数ａが予め設定したしきい値ａ0を越えている場合、自車両Ｍの近方領域の車線候補点Ｐに基づいて近方二次曲線近似式を求め、この近方曲線近似式のヨー角に関するパラメータに対応する定数ｂ’を曲線近似式の定数ｂとして設定する。
【解決手段】車線候補点検出部９ａは撮像手段２で撮像した画像に基づいて自車両Ｍの走行レーンを区画する車線候補点Ｐの点列を検出する。曲線近似処理部９ｂは車線候補点Ｐの点列に基づき二次曲線近似式（ｙ＝aｘ２＋bｘ＋c）を求め、曲率に関するパラメータに対応する定数ａが予め設定したしきい値ａ0を越えている場合、自車両Ｍの近方領域の車線候補点Ｐに基づいて近方二次曲線近似式を求め、この近方曲線近似式のヨー角に関するパラメータに対応する定数ｂ’を曲線近似式の定数ｂとして設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載した撮像手段で撮像した画像に基づいて走行方向両側の車線位置を設定する車線認識装置に関する。
【背景技術】
【０００２】
従来、乗用車等の車両に、当該車両が走行レーンから逸脱することを防止するレーンキープ制御等の支援を行う運転支援装置を搭載しているものが知られている。この運転支援装置では、自車両が走行レーンを適正に走行しているか否かを、自車走行レーンの左右を区画するために路面上に描かれた車線（白線）を推定し、推定した車線の位置情報に基づいて判定するようにしている。
【０００３】
例えば特許文献１（特開２００１−９２９７０号公報）には、撮像手段（ステレオカメラ）で撮像した自車両前方の画像に基づき、その輝度差により車線の候補点を点列として抽出し、抽出した候補点から最小二乗法により直線近似して車線を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−９２９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、高速道路等、比較的速い速度で走行する道路において、車線（白線）を高い精度で推定するためには、ある程度遠方までの車線位置を候補点として取得する方が好ましい。又、遠方までの候補点に基づいて車線（白線）を推定することでより安定した推定結果を得ることができる。この場合、高速道路は直線路のみならずカーブ路も存在しているため、カーブ路の車線（白線）も、候補点の点列を最小二乗法により曲線近似することで推定することができる。
【０００６】
しかし、ジャンクション等、比較的曲率の大きな（曲率半径の小さな）急カーブ路を撮像手段で撮像すると、遠方の車線は左或いは右の何れかに大きくカーブしているため、その候補点は遠方の車線ほど粗くなる。このような状況で抽出した候補点の点列に基づき、上述した文献に開示されている技術を利用して、最小二乗法により曲線近似すると、曲線近似により推定された車線は遠方の粗い候補点の影響を受けて、自車両近方の車線が実際の車線に対して誤差が大きくなる不都合がある。
【０００７】
最小二乗法による曲線近似で推定した車線は、自車両の位置を基準に設定されるため、当該車線が実際の車線に対して大きくずれると、自車両の実際の走行方向と推定した車線との関係から、自車両に対するヨー角の推定値が実際よりも大きくずれてしまう不都合がある。その結果、例えば運転支援装置においてレーンキープ制御が実行される場合は、このレーンキープ制御では、基本的にヨー角を０にする制御が行われるので、ヨー角の推定値に大きなずれが生じると制御が不安定となり、信頼性が低下してしまう不具合がある。
【０００８】
本発明は、上記事情に鑑み、曲率の大きなカーブ路を走行するに際し、撮像手段で撮像した画像から抽出した車線候補点の点列に基づいて設定した車線位置と、自車両との間のヨー角に大きなずれが生じている場合であっても、それを修正することができて、高い信頼性を得ることのできる車線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明は、車両に搭載されて該車両の前方の外部環境を撮像する撮像手段と、前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両の走行レーンを区画する車線候補点の点列を検出する車線候補点検出手段と、前記車線候補点検出手段で検出した車線候補点の点列に基づき、少なくとも曲率に関するパラメータに対応する定数とヨー角に関するパラメータに対応する定数とを有する曲線近似式を求める曲線近似処理手段と、前記曲線近似処理手段で求めた曲線近似式に基づいて前記車両が走行している走行レーンを区画する車線位置を設定する車線位置設定手段とを備える車線認識装置において、前記曲線近似処理手段は、前記曲線近似式の曲率に関するパラメータに対応する定数と予め設定したしきい値とを比較し、該定数が該しきい値を越えている場合は、前記車両の近方領域の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、曲線近似式の曲率に関するパラメータに対応する定数が予め設定したしきい値を越えている場合は、車両の近方領域の車線候補点に基づいて近方曲線近似式を求め、この近方曲線近似式のヨー角に関するパラメータに対応する定数を曲線近似式のヨー角に関するパラメータに対応する定数としたので、曲率の大きなカーブ路を走行するに際し、撮像手段で撮像した画像から抽出した車線候補点に基づいて設定した車線位置に対し、自車両のヨー角にずれが生じた場合であっても、それが修正されるため、レーンキープ制御等における制御が安定し、高い信頼性を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】車線認識装置の構成を示すブロック図
【図２】曲線近似処理ルーチンを示すフローチャート
【図３】撮像手段で撮像した画像から車線候補点を抽出する状態を示す説明図
【図４】車線位置の候補点に基づいて緩カーブ路の曲線近似を求める説明図
【図５】車線位置の候補点に基づいて急カーブ路の曲線近似を求める説明図
【図６】で求めたヨー角を修正して急カーブ路の曲線近似を求める説明図
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の一実施形態を説明する。図１に示す車線認識装置１は、主に、撮像手段２と変換手段３と画像処理手段６と車線推定手段９とを備えている。
【００１３】
撮像手段２は、メインカメラ２ａとサブカメラ２ｂとからなるステレオカメラで構成されている。この両カメラ２ａ，２ｂは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央に、所定間隔を開けて水平に設置されている。又、この各カメラ２ａ，２ｂにＣＣＤやＣＭＯＳ等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む前方の外部環境が撮像される。
【００１４】
両カメラ２ａ，２ｂで撮像した一対のアナログ画像は、変換手段３に設けられているＡ／Ｄ変換器３ａ，３ｂで所定輝度階調のデジタル画像にそれぞれ変換されて画像補正部４に出力される。
【００１５】
画像補正部４では、両カメラ２ａ，２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ２ａの出力信号から基準画像データが生成され、又、サブカメラ２ｂの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ５に格納されると共に、画像処理手段６に出力される。
【００１６】
画像処理手段６はイメージプロセッサ７と距離データメモリ８とを備えている。イメージプロセッサ７は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ（自車両から対象物までの距離）を、三角測量の原理を利用して算出し、距離データメモリ８に格納する。
【００１７】
又、車線推定手段９は、車線候補点検出手段としての車線候補点検出部９ａと、曲線近似処理手段としての曲線近似処理部９ｂと、車線位置設定手段としての車線位置設定部９ｃとを備えている。車線候補点検出部９ａは、画像データメモリ５に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ８に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上の自車両が走行する走行レーンの両側を区画する車線の候補点（車線候補点）を検出する。
【００１８】
具体的には、今回撮像した１つのフレームの基準画像データ上の１画素幅の水平ライン上を下側（自車両の手前側）から上向き（遠方）に１画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を検出する。
【００１９】
そして、図３に示すように、基準画像上で自車両前方であって、その左右方向から車線候補点Ｐの点列をそれぞれ検出する。尚、この車線候補点Ｐは、画面下側（自車両の手前側）から画面上方（遠方）へ移動するに従い１画素の距離が長くなるため、相対的に車線候補点Ｐが粗く、従って、遠方の車線候補点Ｐは、近方の車線候補点Ｐに比し検出精度が低い。
【００２０】
その後、図４に示すように、基準画像データと比較画像データとに基づいて生成した仮想道路平面上に、距離データに基づいて算出した車線候補点Ｐをプロットする。すなわち、図４に示すように、この仮想道路平面には自車両Ｍが配設されており、撮像手段２に設けられている両カメラ２ａ，２ｂ間の車幅方向中央の真下の道路面上の点を原点とし、自車両Ｍの車幅方向にｙ軸、前後方向にｘ軸を取る座標が設定される。尚、図４、及び後述する図５、図６では車線候補点Ｐの点列が基準画像上に疎らにプロットされているが、実際にはより細かい点列でプロットされている。
【００２１】
又、曲線近似処理部９ｂは、車線候補点検出部９ａで検出し、基準画像上にプロットした車線候補点Ｐに基づき最小二乗法により曲線近似し、自車両Ｍの両側の車線（白線）を推定する二次曲線近似式の定数を求める。この曲線近似式の各定数は、具体的には、図２に示す曲線近似処理ルーチンに従って求められる。
【００２２】
このルーチンでは、先ず、ステップＳ１で、１フレーム上にプロットした車線候補点Ｐの点列の各座標（ｘ，ｙ）に基づき、最小二乗法により、最もフィットする曲線近似をとなる二次曲線近似式を求める。
【００２３】
ｙ＝aｘ２＋bｘ＋c …（１）
ここで、定数ａは車線の曲率に関するパラメータ、定数ｂは自車両の傾き（ヨー角）に関する角度パラメータ、定数ｃはｙ軸方向の切片である。従って、この（１）式に示されている各定数ａ，ｂ，ｃによって自車両Ｍを基準とした左右の車線の位置が推定される。
【００２４】
その後、ステップＳ２へ進み、走行レーンがカーブ路の入口か否かが調べられる。走行レーンがカーブ路の入口か否かは、例えば基準画像上にプロットした車線候補点Ｐの点列を遠方領域と近方領域とに区分し、この双方、すなわち、遠方領域と近方領域とで、上述した（１）式による二次曲線近似式を各々求める。
【００２５】
走行レーンがカーブ路の入口である場合、近方側に較べて遠方側の曲率が大きくなる。従って、遠方の二次曲線近似式の定数ａが近方側の二次曲線近似式の定数ａよりも大きい場合、カーブ路の入口であると判定することができる。ステップＳ２では、遠方領域と近方領域との双方で求めた（１）式による二次曲線近似式の定数ａの差が、予め設定した第１しきい値以上の場合（ａ(遠方)−ａ(近方)≧第１しきい値）、カーブ路の入口と判定する。尚、この第１しきい値は予め実験などから求めて設定されている。
【００２６】
そして、カーブ路の入口ではないと判定された場合、ステップＳ３へ進み、カーブ路の入口であると判定された場合、ステップＳ４へジャンプする。
【００２７】
ステップＳ３へ進むと、ステップＳ１で求めた二次曲線近似式の定数ａと予め設定されている第２しきい値ａ0とを比較する。この第２しきい値ａ0は、定数ａの信頼性が有るか否かを調べるものである。
【００２８】
走行路の曲率が比較的小さい緩カーブ路の場合、図４に破線で示すように、仮想道路平面上にプロットした車線候補点Ｐの点列に基づいて曲線近似した推定車線Ｌｓは、路面上に描かれた実際の車線位置（図では省略している）とほぼ一致する。一方、図５に細線で示すように、高速道路のジャンクション等、比較的曲率の大きな急カーブ路の実際の車線Ｌｊを検出する車線候補点Ｐの点列は遠方へ行くに従い粗くなり、検出精度が低くなる。これら車線候補点Ｐの点列を最小二乗法を用いて曲線近似すると、遠方の精度の低い車線候補点Ｐの影響で、自車両Ｍ近方の推定車線Ｌｓが、実際の車線Ｌｊに対して大きくずれてしまう。
【００２９】
この場合、（１）式の定数ａ，ｃは、実際の走行において例えば自車両Ｍが、左右何れかの車線側に大きく近寄っていない限り、多少ずれていても走行に支障を来すことはなく、むしろ、高速道路においては、自車両Ｍが高速走行しているため遠方の車線候補点Ｐを含めて推定車線Ｌｓを表わした方が車線（白線）を高い精度で推定することができる。しかし、定数ｂはヨー角に関する角度パラメータであるため、このヨー角にずれが生じると、例えば自車両Ｍに運転支援装置が搭載されている場合、レーンキープ制御において、ヨー角を０にしようとする制御が行われてしまう。
【００３０】
定数ａが大きい値での曲線近似では、推定車線Ｌｓの曲率が大きくなるため、定数ｂの誤差が大きくなると予想される。第２しきい値ａ0は、定数ｂの誤差が大きくなると予想される定数ａの値を、予め実験などから求めて設定したものである。
【００３１】
そして、定数ａが許容範囲にあるときは（ａ≦ａ0）、ステップＳ６へ進み、今回算出された定数ａ，ｂ，ｃを、車線推定手段９に設けられている記憶手段（図示せず）に保存してルーチンを抜ける。一方、定数ａが許容範囲を越えているときは（ａ＞ａ0）、（１）式の定数ｂの信頼性が低いと判定し、ステップＳ４へ分岐する。
【００３２】
ステップＳ２或いはステップＳ３からステップＳ４へ進むと、今回読込んだ車線候補点Ｐの内、自車近方距離α[m]までの車線候補点Ｐ（図６参照）に基づき、最小二乗法により、最もフィットする曲線近似となる近方二次曲線近似式を求める。
【００３３】
ｙ＝a'ｘ２＋b'ｘ＋c' …（１'）
上述したように、自車両Ｍがカーブ路の入口に差し掛かっている場合、遠方から近方までの車線候補点Ｐの点列に基づいて求めた二次曲線近似式の、ヨー角に関するパラメータに対応する定数ｂは、自車両Ｍに対する実際のヨー角よりも大きくずれが生じる可能性がある。一方、カーブ路を走行中においては、自車近方の車線位置の車線候補点Ｐの点列が、遠方の車線候補点Ｐの点列に比し検出誤差が小さい。
【００３４】
そのため、このような状況では、遠方の車線候補点Ｐを除外し、近方の車線候補点Ｐの点列を曲線近似することで、自車両Ｍの近方では、図６に破線で示す推定車線Ｌｓの曲率が、細線で示す実際の車線Ｌｊの曲率とほぼ同じとなり、従って、ヨー角に関するパラメータである定数ｂは、実際のヨー角にほぼ対応した値に設定される。尚、図６では定数ｂ＝０に設定されている。又、自車近方距離αは、ヨー角に関するパラメータである定数ｂが、実際のヨー角に対応した値となる範囲を予め実験などから求めて設定したものである。
【００３５】
その後、ステップＳ５へ進み、（１）’式の定数ｂ’を定数ｂに代入し（ｂ←ｂ’）、ステップＳ６で、ステップＳ１で求めた定数ａ，ｃと、ステップＳ５で設定した定数ｂを、記憶手段に保存してルーチンを抜ける。
【００３６】
図６に破線で示すように、（１'）式による曲線近似では、細線で示す実際の車線Ｌｊに対して遠方の推定車線Ｌｓが大きくずれてしまう。従って、本実施形態では、（１'）式の定数ｂ’のみを抽出し、これを定数ｂと置き換えて記憶手段に記憶させる。その結果、推定車線Ｌｓが実際の車線Ｌｊに近似し、且つ自車両Ｍのヨー角に関するパラメータに対応する定数ｂの信頼性も高くなる。
【００３７】
又、車線位置設定部９ｃは、今回、プロットした車線候補点Ｐの点列に基づいて曲線近似した自車両Ｍの両側の推定車線Ｌｓを、自車両Ｍの走行レーンの左右を区画する車線位置として設定し、その車線位置のデータを車線推定手段９に設けられている記憶手段（図示せず）に記憶する。この記憶手段に記憶されている車線位置データは、適宜読出されて、自車両Ｍが走行レーンの左右いずれかの車線からの逸脱を防止するレーンキープ制御等を支援する運転支援装置等のパラメータとして読込まれる。
【００３８】
このように、本実施形態では、車線推定手段９の曲線近似処理部９ｂにおいて、遠方までの車線候補点Ｐの点列に基づいて最小二乗法により曲線近似となる二次関数（１）式を求めた際に、車線の曲率に関するパラメータに対応する定数ａが第２しきい値ａ0を越えている場合は、ヨー角に関するパラメータに対応する定数ｂの信頼性が低いと判定し、自車近方距離α内の車線候補点Ｐに基づいて最小二乗法により再度二次関数（１'）式を求める。そして、この二次関数（１'）式中のヨー角に関するパラメータに対応する定数ｂ’のみを抽出し、これを（１）式の定数ｂに代入するようにしたので、インターチェンジ等、曲率の大きなカーブ路であっても、自車両Ｍのヨー角が実際の車線Ｌｊに対応して設定することができ、自車両Ｍに運転支援装置が搭載されている場合には、その制御が安定し、高い信頼性を得ることができる。
【００３９】
同様に、カーブ路の入口においても、自車近方距離α内の車線候補点Ｐに基づいて求めた二次関数（１'）式の定数ｂ’のみを（１）式の定数ｂに代入するようにしたので、自車両Ｍに運転支援装置が搭載されている場合には、制御が安定し、高い信頼性を得ることができる。
【００４０】
尚、本発明は、上述した実施形態に限るものではなく、例えば撮像手段はメインカメラ２ａとサブカメラ２ｂとからなるステレオカメラである必要はなく、単眼カメラであっても良い。撮像手段として、単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。又、曲線近似処理部９ｂで求める曲線近似式は、二次式に限らず三次式であっても良い。
【符号の説明】
【００４１】
１…車線認識装置、
２…撮像手段、
２ａ…メインカメラ、
２ｂ…サブカメラ、
９…車線推定手段、
９ａ…車線候補点検出部、
９ｂ…曲線近似処理部、
９ｃ…車線位置設定部、
α…自車近方距離、
Ｌｊ…車線、
Ｌｓ…推定車線、
Ｍ…自車両、
Ｐ…車線候補点、
ａ，ｂ，ｃ…定数、
ａ0…第２しきい値
【技術分野】
【０００１】
本発明は、車両に搭載した撮像手段で撮像した画像に基づいて走行方向両側の車線位置を設定する車線認識装置に関する。
【背景技術】
【０００２】
従来、乗用車等の車両に、当該車両が走行レーンから逸脱することを防止するレーンキープ制御等の支援を行う運転支援装置を搭載しているものが知られている。この運転支援装置では、自車両が走行レーンを適正に走行しているか否かを、自車走行レーンの左右を区画するために路面上に描かれた車線（白線）を推定し、推定した車線の位置情報に基づいて判定するようにしている。
【０００３】
例えば特許文献１（特開２００１−９２９７０号公報）には、撮像手段（ステレオカメラ）で撮像した自車両前方の画像に基づき、その輝度差により車線の候補点を点列として抽出し、抽出した候補点から最小二乗法により直線近似して車線を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−９２９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、高速道路等、比較的速い速度で走行する道路において、車線（白線）を高い精度で推定するためには、ある程度遠方までの車線位置を候補点として取得する方が好ましい。又、遠方までの候補点に基づいて車線（白線）を推定することでより安定した推定結果を得ることができる。この場合、高速道路は直線路のみならずカーブ路も存在しているため、カーブ路の車線（白線）も、候補点の点列を最小二乗法により曲線近似することで推定することができる。
【０００６】
しかし、ジャンクション等、比較的曲率の大きな（曲率半径の小さな）急カーブ路を撮像手段で撮像すると、遠方の車線は左或いは右の何れかに大きくカーブしているため、その候補点は遠方の車線ほど粗くなる。このような状況で抽出した候補点の点列に基づき、上述した文献に開示されている技術を利用して、最小二乗法により曲線近似すると、曲線近似により推定された車線は遠方の粗い候補点の影響を受けて、自車両近方の車線が実際の車線に対して誤差が大きくなる不都合がある。
【０００７】
最小二乗法による曲線近似で推定した車線は、自車両の位置を基準に設定されるため、当該車線が実際の車線に対して大きくずれると、自車両の実際の走行方向と推定した車線との関係から、自車両に対するヨー角の推定値が実際よりも大きくずれてしまう不都合がある。その結果、例えば運転支援装置においてレーンキープ制御が実行される場合は、このレーンキープ制御では、基本的にヨー角を０にする制御が行われるので、ヨー角の推定値に大きなずれが生じると制御が不安定となり、信頼性が低下してしまう不具合がある。
【０００８】
本発明は、上記事情に鑑み、曲率の大きなカーブ路を走行するに際し、撮像手段で撮像した画像から抽出した車線候補点の点列に基づいて設定した車線位置と、自車両との間のヨー角に大きなずれが生じている場合であっても、それを修正することができて、高い信頼性を得ることのできる車線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明は、車両に搭載されて該車両の前方の外部環境を撮像する撮像手段と、前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両の走行レーンを区画する車線候補点の点列を検出する車線候補点検出手段と、前記車線候補点検出手段で検出した車線候補点の点列に基づき、少なくとも曲率に関するパラメータに対応する定数とヨー角に関するパラメータに対応する定数とを有する曲線近似式を求める曲線近似処理手段と、前記曲線近似処理手段で求めた曲線近似式に基づいて前記車両が走行している走行レーンを区画する車線位置を設定する車線位置設定手段とを備える車線認識装置において、前記曲線近似処理手段は、前記曲線近似式の曲率に関するパラメータに対応する定数と予め設定したしきい値とを比較し、該定数が該しきい値を越えている場合は、前記車両の近方領域の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、曲線近似式の曲率に関するパラメータに対応する定数が予め設定したしきい値を越えている場合は、車両の近方領域の車線候補点に基づいて近方曲線近似式を求め、この近方曲線近似式のヨー角に関するパラメータに対応する定数を曲線近似式のヨー角に関するパラメータに対応する定数としたので、曲率の大きなカーブ路を走行するに際し、撮像手段で撮像した画像から抽出した車線候補点に基づいて設定した車線位置に対し、自車両のヨー角にずれが生じた場合であっても、それが修正されるため、レーンキープ制御等における制御が安定し、高い信頼性を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】車線認識装置の構成を示すブロック図
【図２】曲線近似処理ルーチンを示すフローチャート
【図３】撮像手段で撮像した画像から車線候補点を抽出する状態を示す説明図
【図４】車線位置の候補点に基づいて緩カーブ路の曲線近似を求める説明図
【図５】車線位置の候補点に基づいて急カーブ路の曲線近似を求める説明図
【図６】で求めたヨー角を修正して急カーブ路の曲線近似を求める説明図
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の一実施形態を説明する。図１に示す車線認識装置１は、主に、撮像手段２と変換手段３と画像処理手段６と車線推定手段９とを備えている。
【００１３】
撮像手段２は、メインカメラ２ａとサブカメラ２ｂとからなるステレオカメラで構成されている。この両カメラ２ａ，２ｂは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央に、所定間隔を開けて水平に設置されている。又、この各カメラ２ａ，２ｂにＣＣＤやＣＭＯＳ等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む前方の外部環境が撮像される。
【００１４】
両カメラ２ａ，２ｂで撮像した一対のアナログ画像は、変換手段３に設けられているＡ／Ｄ変換器３ａ，３ｂで所定輝度階調のデジタル画像にそれぞれ変換されて画像補正部４に出力される。
【００１５】
画像補正部４では、両カメラ２ａ，２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ２ａの出力信号から基準画像データが生成され、又、サブカメラ２ｂの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ５に格納されると共に、画像処理手段６に出力される。
【００１６】
画像処理手段６はイメージプロセッサ７と距離データメモリ８とを備えている。イメージプロセッサ７は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ（自車両から対象物までの距離）を、三角測量の原理を利用して算出し、距離データメモリ８に格納する。
【００１７】
又、車線推定手段９は、車線候補点検出手段としての車線候補点検出部９ａと、曲線近似処理手段としての曲線近似処理部９ｂと、車線位置設定手段としての車線位置設定部９ｃとを備えている。車線候補点検出部９ａは、画像データメモリ５に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ８に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上の自車両が走行する走行レーンの両側を区画する車線の候補点（車線候補点）を検出する。
【００１８】
具体的には、今回撮像した１つのフレームの基準画像データ上の１画素幅の水平ライン上を下側（自車両の手前側）から上向き（遠方）に１画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を検出する。
【００１９】
そして、図３に示すように、基準画像上で自車両前方であって、その左右方向から車線候補点Ｐの点列をそれぞれ検出する。尚、この車線候補点Ｐは、画面下側（自車両の手前側）から画面上方（遠方）へ移動するに従い１画素の距離が長くなるため、相対的に車線候補点Ｐが粗く、従って、遠方の車線候補点Ｐは、近方の車線候補点Ｐに比し検出精度が低い。
【００２０】
その後、図４に示すように、基準画像データと比較画像データとに基づいて生成した仮想道路平面上に、距離データに基づいて算出した車線候補点Ｐをプロットする。すなわち、図４に示すように、この仮想道路平面には自車両Ｍが配設されており、撮像手段２に設けられている両カメラ２ａ，２ｂ間の車幅方向中央の真下の道路面上の点を原点とし、自車両Ｍの車幅方向にｙ軸、前後方向にｘ軸を取る座標が設定される。尚、図４、及び後述する図５、図６では車線候補点Ｐの点列が基準画像上に疎らにプロットされているが、実際にはより細かい点列でプロットされている。
【００２１】
又、曲線近似処理部９ｂは、車線候補点検出部９ａで検出し、基準画像上にプロットした車線候補点Ｐに基づき最小二乗法により曲線近似し、自車両Ｍの両側の車線（白線）を推定する二次曲線近似式の定数を求める。この曲線近似式の各定数は、具体的には、図２に示す曲線近似処理ルーチンに従って求められる。
【００２２】
このルーチンでは、先ず、ステップＳ１で、１フレーム上にプロットした車線候補点Ｐの点列の各座標（ｘ，ｙ）に基づき、最小二乗法により、最もフィットする曲線近似をとなる二次曲線近似式を求める。
【００２３】
ｙ＝aｘ２＋bｘ＋c …（１）
ここで、定数ａは車線の曲率に関するパラメータ、定数ｂは自車両の傾き（ヨー角）に関する角度パラメータ、定数ｃはｙ軸方向の切片である。従って、この（１）式に示されている各定数ａ，ｂ，ｃによって自車両Ｍを基準とした左右の車線の位置が推定される。
【００２４】
その後、ステップＳ２へ進み、走行レーンがカーブ路の入口か否かが調べられる。走行レーンがカーブ路の入口か否かは、例えば基準画像上にプロットした車線候補点Ｐの点列を遠方領域と近方領域とに区分し、この双方、すなわち、遠方領域と近方領域とで、上述した（１）式による二次曲線近似式を各々求める。
【００２５】
走行レーンがカーブ路の入口である場合、近方側に較べて遠方側の曲率が大きくなる。従って、遠方の二次曲線近似式の定数ａが近方側の二次曲線近似式の定数ａよりも大きい場合、カーブ路の入口であると判定することができる。ステップＳ２では、遠方領域と近方領域との双方で求めた（１）式による二次曲線近似式の定数ａの差が、予め設定した第１しきい値以上の場合（ａ(遠方)−ａ(近方)≧第１しきい値）、カーブ路の入口と判定する。尚、この第１しきい値は予め実験などから求めて設定されている。
【００２６】
そして、カーブ路の入口ではないと判定された場合、ステップＳ３へ進み、カーブ路の入口であると判定された場合、ステップＳ４へジャンプする。
【００２７】
ステップＳ３へ進むと、ステップＳ１で求めた二次曲線近似式の定数ａと予め設定されている第２しきい値ａ0とを比較する。この第２しきい値ａ0は、定数ａの信頼性が有るか否かを調べるものである。
【００２８】
走行路の曲率が比較的小さい緩カーブ路の場合、図４に破線で示すように、仮想道路平面上にプロットした車線候補点Ｐの点列に基づいて曲線近似した推定車線Ｌｓは、路面上に描かれた実際の車線位置（図では省略している）とほぼ一致する。一方、図５に細線で示すように、高速道路のジャンクション等、比較的曲率の大きな急カーブ路の実際の車線Ｌｊを検出する車線候補点Ｐの点列は遠方へ行くに従い粗くなり、検出精度が低くなる。これら車線候補点Ｐの点列を最小二乗法を用いて曲線近似すると、遠方の精度の低い車線候補点Ｐの影響で、自車両Ｍ近方の推定車線Ｌｓが、実際の車線Ｌｊに対して大きくずれてしまう。
【００２９】
この場合、（１）式の定数ａ，ｃは、実際の走行において例えば自車両Ｍが、左右何れかの車線側に大きく近寄っていない限り、多少ずれていても走行に支障を来すことはなく、むしろ、高速道路においては、自車両Ｍが高速走行しているため遠方の車線候補点Ｐを含めて推定車線Ｌｓを表わした方が車線（白線）を高い精度で推定することができる。しかし、定数ｂはヨー角に関する角度パラメータであるため、このヨー角にずれが生じると、例えば自車両Ｍに運転支援装置が搭載されている場合、レーンキープ制御において、ヨー角を０にしようとする制御が行われてしまう。
【００３０】
定数ａが大きい値での曲線近似では、推定車線Ｌｓの曲率が大きくなるため、定数ｂの誤差が大きくなると予想される。第２しきい値ａ0は、定数ｂの誤差が大きくなると予想される定数ａの値を、予め実験などから求めて設定したものである。
【００３１】
そして、定数ａが許容範囲にあるときは（ａ≦ａ0）、ステップＳ６へ進み、今回算出された定数ａ，ｂ，ｃを、車線推定手段９に設けられている記憶手段（図示せず）に保存してルーチンを抜ける。一方、定数ａが許容範囲を越えているときは（ａ＞ａ0）、（１）式の定数ｂの信頼性が低いと判定し、ステップＳ４へ分岐する。
【００３２】
ステップＳ２或いはステップＳ３からステップＳ４へ進むと、今回読込んだ車線候補点Ｐの内、自車近方距離α[m]までの車線候補点Ｐ（図６参照）に基づき、最小二乗法により、最もフィットする曲線近似となる近方二次曲線近似式を求める。
【００３３】
ｙ＝a'ｘ２＋b'ｘ＋c' …（１'）
上述したように、自車両Ｍがカーブ路の入口に差し掛かっている場合、遠方から近方までの車線候補点Ｐの点列に基づいて求めた二次曲線近似式の、ヨー角に関するパラメータに対応する定数ｂは、自車両Ｍに対する実際のヨー角よりも大きくずれが生じる可能性がある。一方、カーブ路を走行中においては、自車近方の車線位置の車線候補点Ｐの点列が、遠方の車線候補点Ｐの点列に比し検出誤差が小さい。
【００３４】
そのため、このような状況では、遠方の車線候補点Ｐを除外し、近方の車線候補点Ｐの点列を曲線近似することで、自車両Ｍの近方では、図６に破線で示す推定車線Ｌｓの曲率が、細線で示す実際の車線Ｌｊの曲率とほぼ同じとなり、従って、ヨー角に関するパラメータである定数ｂは、実際のヨー角にほぼ対応した値に設定される。尚、図６では定数ｂ＝０に設定されている。又、自車近方距離αは、ヨー角に関するパラメータである定数ｂが、実際のヨー角に対応した値となる範囲を予め実験などから求めて設定したものである。
【００３５】
その後、ステップＳ５へ進み、（１）’式の定数ｂ’を定数ｂに代入し（ｂ←ｂ’）、ステップＳ６で、ステップＳ１で求めた定数ａ，ｃと、ステップＳ５で設定した定数ｂを、記憶手段に保存してルーチンを抜ける。
【００３６】
図６に破線で示すように、（１'）式による曲線近似では、細線で示す実際の車線Ｌｊに対して遠方の推定車線Ｌｓが大きくずれてしまう。従って、本実施形態では、（１'）式の定数ｂ’のみを抽出し、これを定数ｂと置き換えて記憶手段に記憶させる。その結果、推定車線Ｌｓが実際の車線Ｌｊに近似し、且つ自車両Ｍのヨー角に関するパラメータに対応する定数ｂの信頼性も高くなる。
【００３７】
又、車線位置設定部９ｃは、今回、プロットした車線候補点Ｐの点列に基づいて曲線近似した自車両Ｍの両側の推定車線Ｌｓを、自車両Ｍの走行レーンの左右を区画する車線位置として設定し、その車線位置のデータを車線推定手段９に設けられている記憶手段（図示せず）に記憶する。この記憶手段に記憶されている車線位置データは、適宜読出されて、自車両Ｍが走行レーンの左右いずれかの車線からの逸脱を防止するレーンキープ制御等を支援する運転支援装置等のパラメータとして読込まれる。
【００３８】
このように、本実施形態では、車線推定手段９の曲線近似処理部９ｂにおいて、遠方までの車線候補点Ｐの点列に基づいて最小二乗法により曲線近似となる二次関数（１）式を求めた際に、車線の曲率に関するパラメータに対応する定数ａが第２しきい値ａ0を越えている場合は、ヨー角に関するパラメータに対応する定数ｂの信頼性が低いと判定し、自車近方距離α内の車線候補点Ｐに基づいて最小二乗法により再度二次関数（１'）式を求める。そして、この二次関数（１'）式中のヨー角に関するパラメータに対応する定数ｂ’のみを抽出し、これを（１）式の定数ｂに代入するようにしたので、インターチェンジ等、曲率の大きなカーブ路であっても、自車両Ｍのヨー角が実際の車線Ｌｊに対応して設定することができ、自車両Ｍに運転支援装置が搭載されている場合には、その制御が安定し、高い信頼性を得ることができる。
【００３９】
同様に、カーブ路の入口においても、自車近方距離α内の車線候補点Ｐに基づいて求めた二次関数（１'）式の定数ｂ’のみを（１）式の定数ｂに代入するようにしたので、自車両Ｍに運転支援装置が搭載されている場合には、制御が安定し、高い信頼性を得ることができる。
【００４０】
尚、本発明は、上述した実施形態に限るものではなく、例えば撮像手段はメインカメラ２ａとサブカメラ２ｂとからなるステレオカメラである必要はなく、単眼カメラであっても良い。撮像手段として、単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。又、曲線近似処理部９ｂで求める曲線近似式は、二次式に限らず三次式であっても良い。
【符号の説明】
【００４１】
１…車線認識装置、
２…撮像手段、
２ａ…メインカメラ、
２ｂ…サブカメラ、
９…車線推定手段、
９ａ…車線候補点検出部、
９ｂ…曲線近似処理部、
９ｃ…車線位置設定部、
α…自車近方距離、
Ｌｊ…車線、
Ｌｓ…推定車線、
Ｍ…自車両、
Ｐ…車線候補点、
ａ，ｂ，ｃ…定数、
ａ0…第２しきい値
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の前方の外部環境を撮像する撮像手段と、
前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両の走行レーンを区画する車線候補点の点列を検出する車線候補点検出手段と、
前記車線候補点検出手段で検出した車線候補点の点列に基づき、少なくとも曲率に関するパラメータに対応する定数とヨー角に関するパラメータに対応する定数とを有する曲線近似式を求める曲線近似処理手段と、
前記曲線近似処理手段で求めた曲線近似式に基づいて前記車両が走行している走行レーンを区画する車線位置を設定する車線位置設定手段と
を備える車線認識装置において、
前記曲線近似処理手段は、前記曲線近似式の曲率に関するパラメータに対応する定数と予め設定したしきい値とを比較し、該定数が該しきい値を越えている場合は、前記車両の近方領域の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入する
ことを特徴とする車線認識装置。
【請求項２】
前記曲線近似処理手段は、前記車線候補点を遠方領域と近方領域とに区分し、各領域で前記曲線近似式を求め、該各曲線近似式の曲率に関するパラメータに対応する定数を比較し、遠方領域の曲線近似式の曲率に関するパラメータに対応する定数が近方領域の曲線近似式の曲率に関するパラメータに対応する定数よりも大きい場合、前記車両の近方の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入する
ことを特徴とする請求項１記載の車線認識装置。
【請求項１】
車両に搭載されて該車両の前方の外部環境を撮像する撮像手段と、
前記撮像手段で撮像した前記外部環境の画像に基づいて前記車両の走行レーンを区画する車線候補点の点列を検出する車線候補点検出手段と、
前記車線候補点検出手段で検出した車線候補点の点列に基づき、少なくとも曲率に関するパラメータに対応する定数とヨー角に関するパラメータに対応する定数とを有する曲線近似式を求める曲線近似処理手段と、
前記曲線近似処理手段で求めた曲線近似式に基づいて前記車両が走行している走行レーンを区画する車線位置を設定する車線位置設定手段と
を備える車線認識装置において、
前記曲線近似処理手段は、前記曲線近似式の曲率に関するパラメータに対応する定数と予め設定したしきい値とを比較し、該定数が該しきい値を越えている場合は、前記車両の近方領域の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入する
ことを特徴とする車線認識装置。
【請求項２】
前記曲線近似処理手段は、前記車線候補点を遠方領域と近方領域とに区分し、各領域で前記曲線近似式を求め、該各曲線近似式の曲率に関するパラメータに対応する定数を比較し、遠方領域の曲線近似式の曲率に関するパラメータに対応する定数が近方領域の曲線近似式の曲率に関するパラメータに対応する定数よりも大きい場合、前記車両の近方の車線候補点の点列に基づいて近方曲線近似式を求め、該近方曲線近似式のヨー角に関するパラメータに対応する定数を前記曲線近似式のヨー角に関するパラメータに対応する定数に代入する
ことを特徴とする請求項１記載の車線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１７５５７２（Ｐ２０１１−１７５５７２Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−４０６２８（Ｐ２０１０−４０６２８）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]