説明

車線監視システム及び車線監視方法

【課題】車載カメラで撮影した自動車後方の画像に基づいて行う自動車前方の車線認識の処理の負荷を軽減できる「車線監視システム及び車線監視方法」を提供する。
【解決手段】後方カメラ1で撮影した自動車後方の画像フレーム中の白線を直線に近似する。自動車がカーブを走行していない場合には、近似した直線を自動車前方の白線として認識し、自動車がカーブを走行している場合には、自車の中心を通る左右方向軸を対象軸として、近似した直線と線対称な直線を求め、求めた直線を自動車前方の白線として認識する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラで撮影した自動車後方の画像に基づいて自動車前方の車線を認識する技術に関するものである。
【背景技術】
【0002】
車載カメラで撮影した自動車後方の画像に基づいて自動車前方の車線を認識する技術としては、自動車が直進性を有する道路を走行している場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線(白線)を近似した直線として自動車前方の車線境界線を認識し、自動車がカーブを走行している場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として自動車前方の車線境界線を認識する技術が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-200191号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自動車がカーブを走行している場合に、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として自動車前方の車線境界線を認識する上述の技術によれば、自動車後方の画像に含まれる車線境界線を円に近似するための比較的複雑で負荷の大きい処理を行う必要がある。
【0005】
そこで、本発明は、自動車がカーブを走行している場合における、車載カメラで撮影した自動車後方の画像に基づいて行う自動車前方の車線認識の処理の負荷を軽減することを課題とする。
【課題を解決するための手段】
【0006】
前記課題達成のために、本発明は、自動車に搭載される車線監視システムに、前記自動車後方を撮影する車載カメラと、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出手段と、前記自動車がカーブを走行中でない場合に、前記近似直線算出手段が算出した直線を前記自動車前方の車線境界線として認識し、前記自動車がカーブを走行中である場合に、前記近似直線算出手段が算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を前記自動車前方の車線境界線として認識する車線認識手段とを備えたものである。
【0007】
ここで、前記自動車上の所定の点は、前記自動車の前後左右方向の中心点とすることが好ましい。
また、このような車線監視システムには、前記車線認識手段が認識した自動車前方の車線境界線に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を設けるようにしてもよい。
このような車線監視システムによれば、前記自動車がカーブを走行中である場合には、自動車後方の車線境界線を近似した直線と、前記自動車上の点を通る当該自動車の左右方向を向いた軸を対象軸として線対象な直線を求めるだけの、車線境界線を円に近似する場合に比べ、簡易、低負荷の処理によって自動車前方の白線を認識することができるようになる。
【発明の効果】
【0008】
以上のように、本発明によれば、自動車がカーブを走行している場合における、車載カメラで撮影した自動車後方の画像に基づいて行う自動車前方の車線認識の処理の負荷を軽減することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る車載システムの構成を示すブロック図である。
【図2】本発明の実施形態に係る車線監視処理を示すフローチャートである。
【図3】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【図4】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【図5】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について説明する。
図1aに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図1bに示すように自動車後部に配置され自動車後方を撮影する後方カメラ1と、後方カメラ1が撮影した画像フレームを格納するフレームメモリ2、車載監視装置3、車載監視装置3が作業に用いるワークメモリ4、スピーカ5、表示装置6などを備えている。
【0011】
なお、図示は省略したが、後方カメラ1の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車載監視装置3が行う車線監視処理について説明する。
図2に、この車線監視処理の手順を示す。
図示するように、この処理では、まず、後方カメラ1が後方を撮影した最新の画像フレームをフレームメモリ2から取得し(ステップ202)、画像フレームに写り込んでいる後方の白線上の特徴点の座標を算出する(ステップ204)。
ここで、このステップ204で行う画像フレームに写り込んでいる後方の白線上の特徴点の座標の算出は以下のように行う。
すなわち、図3aに示すように、自動車の左右前後方向の中心Gを原点とし、自動車の右方向を正のX方向とし、自動車の後方向を正のY方向とするXY座標系を設定し、後方カメラ1で撮影された図3bに示すような画像フレームに対して、ノイズ除去などの前処理を施した上で、輝度勾配などに基づいて画像フレームに写り込んでいる白線の領域301を抽出する。
【0012】
そして、抽出した白線の領域301を、図3cに示すようにXY座標系に射影変換する。そして、Y方向について所定間隔毎に、XY座標系に射影変換した白線の領域302のX方向の中点に特徴点Piを設定し、各特徴点PiのXY座標系上の座標(xi,yi)を、後方の白線上の特徴点の座標として算出する。
【0013】
さて、図2に戻り、以上のようにして特徴点の座標を算出したならば、各特徴点の座標に基づいて、図3d、eに示すように、後方の白線を直線y=ax+bに近似する(ステップ206)。
この近似は、各特徴点の座標を直線上の座標として持つ直線として、最も尤もらしい直線を求めることにより行う。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点Piについて求めた、yi-(axi+b)の自乗の合計をEとして、Eを最小とするa、bを算出することにより、直線y=ax+bを求める。
そして、次に現在、自動車がカーブを走行中であるかどうかを判定する(ステップ208)。ここで、カーブを走行中であるかどうかの判定は任意の方法によって行うようにしてもよい。
すなわち、たとえば、ステップ206で求めた各特徴点Piについて求めた、yi-(axi+b)の自乗の合計E、または、合計Eの過去所定期間の平均が所定値より小さい場合に、カーブを走行中でないと判定し、他の場合にカーブを走行中であると判定するようにしたり、最新の画像フレームもしくは過去所定期間内に撮影された画像フレームについて求めた、隣接する上述の特徴点を結ぶ直線の傾きが、自車からの前後方向の距離に関わらずにおよそ等しい場合にカーブを走行中でないと判定し、他の場合にカーブを走行中であると判定するようにしたり、自動車の左右方向の加速度や、自動車の操舵角を取得すると共に、当該加速度や操舵角が過去所定期間、所定値より大きい値で安定している場合に、カーブを走行中であると判定し、他の場合にカーブを走行中でないと判定するようにしたりしてよい。
【0014】
さて、次に、自動車がカーブを走行中でなければ(ステップ208)、図4aに示すように、ステップ206で求めた直線y=ax+bと同じ直線y=f(x)=cx+b(但し、c=a)を、自車前方の白線を表す直線として認識する(ステップ210)。
一方、自動車がカーブを走行中であれば(ステップ208)、図4bに示すように、ステップ206で求めた直線y=ax+bと、X軸を対称軸として線対称な直線y=f(x)=cx+b(但し、c=-a)を、自車前方の白線を表す直線として認識する(ステップ212)。
そして、図5に示す、自車前方の白線と自動車前方白線側(右側端)端Tとの距離Dを求める(ステップ214)。
すなわち、図5に示すように、自動車中心Gから自動車前端までのY方向の距離(自動車の全長の半分)をL、自動車中心Gから自動車白線側端までのX方向の距離(自動車の全幅の半分)をWとすれば、端T最寄りの白線上の点Kの座標は
Kx=D+Wとして、(Kx, -L)となる。
【0015】
よって、点Kが、直線y=f(x)=cx+b上の点であることより、
-L=F(Kx)=cKx+b = c(D+W) +b
が成り立つので、これより自車前方の白線と自動車前方白線側(通常、右側)端Tとの距離Dを、
D= [(-L-b)/c]-Wとして求める。
【0016】
そして、求めた自車前方の白線と自動車前方白線側端Tとの距離Dが、所定のしきい値Thより小さく、かつ、自動車が白線側に移動しているかどうかを調べ(ステップ216)、そうでなければステップ202からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ5や表示装置6から、自動車の車線から逸脱を警告する出力をドライバに対して行った上で(ステップ218)、ステップ202からの処理に戻る。
【0017】
ここで、ステップ216における、自動車が白線側に移動しているかどうかの判定は、たとえば、自車前方の白線を表す直線y=f(x)=cx+bの傾きが正、すなわち、 cが正である場合に、自動車が白線側に移動していると判定したり、求めた自車前方の白線と自動車前方白線側端Tとの距離Dが、前回距離Dを求めたときの距離Dの値より減少している場合に、自動車が白線側に移動していると判定することにより行うことができる。
【0018】
以上、車載監視装置3が行う車線監視処理について説明した。
以上のように、本実施形態によれば、自動車がカーブを走行している場合には、後方の白線を近似した直線と、自車の中心を通る左右方向軸を対象軸として線対称な直線を求めるだけの簡易、低負荷の処理によって自車前方の白線を認識することができる。
なお、以上の実施形態は、自動車の右側の白線を検出する場合について示したが、自動車の左側の車線を検出する場合についても本実施形態は同様に適用可能である
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識するものとすることができる。
【符号の説明】
【0019】
1…後方カメラ、2…フレームメモリ、3…車載監視装置、4…ワークメモリ、5…スピーカ、6…表示装置。

【特許請求の範囲】
【請求項1】
自動車に搭載される車線監視システムであって、
前記自動車後方を撮影する車載カメラと、
前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出手段と、
前記自動車がカーブを走行中でない場合に、前記近似直線算出手段が算出した直線を前記自動車前方の車線境界線として認識し、前記自動車がカーブを走行中である場合に、前記近似直線算出手段が算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を前記自動車前方の車線境界線として認識する車線認識手段とを有することを特徴とする車線監視システム。
【請求項2】
請求項1記載の車線監視システムであって、
前記自動車上の所定の点は、前記自動車の前後左右方向の中心点であることを特徴とする車線監視システム。
【請求項3】
請求項1または2記載の車線監視システムであって、
前記車線認識手段が認識した自動車前方の車線境界線に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を有することを特徴とする車線監視システム。
【請求項4】
自動車に搭載される車線監視システムにおいて、前記自動車後方を撮影する車載カメラが撮影した自動車後方の画像に基づいて、前記自動車前方の車線境界線を認識する車線境界線認識方法であって、
前記車線監視システムが、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出ステップと、
前記車線監視システムが、前記自動車がカーブを走行中である場合に、前記近似直線算出ステップで算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を、前記自動車前方の車線境界線として認識する車線認識ステップとを有することを特徴とする車線境界線認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−89008(P2013−89008A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−228672(P2011−228672)
【出願日】平成23年10月18日(2011.10.18)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】