車線検出方法および装置
【課題】ハフ変換を基本とし、処理量を少なくし、リアルタイムでの処理を実現できる車線検出法を提供する。
【解決手段】撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。 また上記の車線検出方法において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
【解決手段】撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。 また上記の車線検出方法において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に対し所定状態で取り付けられた撮像装置により取得した路面画像を画像処理して平行に描かれた車線を検出する車線検出方法および装置に関する。
【背景技術】
【０００２】
車載カメラで撮影された画像上において車線を検出することは，交通の状況や車の位置を推定するための基本的な処理である。近年，様々な車線検出手法が提案されている（例えば、非特許文献１〜７参照）。車線検出は，あるモデルを画像から得られたエッジ点や車線マーカーに当てはめることにより行われる。ＭｃＤｏｎａｌｄの非特許文献２は，車線境界の消失点が画像内である特定の領域内に収まるという仮定を用いることにより，直線モデルのパラメータ空間を制限したハフ変換を用いて車線境界を検出する手法を提案している。
【非特許文献１】Ｎ． Ａｐｏｓｔｏｌｏｆｆ ａｎｄ Ａ． Ｚｅｌｉｎｓｋｙ． Ｖｉｓｉｏｎ ｉｎ ａｎｄ ｏｕｔ ｏｆ ｖｅｈｉｃｌｅｓ：Ｉｎｔｅｇｒａｔｅｄ ｄｒｉｖｅｒ ａｎｄ ｒｏａｄ ｓｃｅｎｅ ｍｏｎｉｔｏｒｉｎｇ． Ｔｈｅ Ｉｎｔｅｒｎａ−ｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ， Ｖｏｌ． ２３， Ｎｏ． ４−５， ｐｐ．５１３ ５３８， Ａｐｒｉｌ−Ｍａｙ ２００４．
【非特許文献２】Ｊ． Ｂ． Ｍｃ Ｄｏｎａｌｄ． Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｔｈｅ ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ｔｏｌａｎｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｆｏｌｌｏｗｉｎｇ ｏｎ ｈｉｇｈ ｓｐｅｅｄ ｒｏａｄｓ． Ｉｎ Ｐｒｏｃ．ｏｆ ｔｈｅ Ｉｒｉｓｈ Ｓｉｇｎａｌｓ ａｎｄ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ， ２００１．
【非特許文献３】Ｖ． Ｋａｓｔｒｉｎａｋｉ， Ｍ． Ｚｅｒｖａｋｉｓ， ａｎｄ Ｋ． Ｋａｌａｉｔｚａｋｉｓ． Ａ ｓｕｒｖｅｙ ｏｆｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｔｒａｆｆｉｃ ａｐｐｌｉｃａｔｉｏｎｓ． Ｉｍａｇｅａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ， Ｖｏｌ． ２１， ｐｐ． ３５９ ３８１， ２００３．
【非特許文献４】Ｊ． Ｗ． Ｌｅｅ， Ｕ． Ｋ． Ｙｉ， ａｎｄ Ｋ． Ｒ． Ｂａｒｋ． Ａ ｃｕｍｕｌａｔｉｖｅ ｄｉｓ−ｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ ｏｆ ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ ｆｏｒ ｒｏａｄ−ｌａｎｅ ｄｅｔｅｃｔｉｏｎ． ＩＣＥ Ｔｒａｎｓ． Ｉｎｆ． Ｆ４ ｓｙｓｔ．， Ｖｏｌ． Ｅ８４−Ｄ， Ｎｏ． ９， ｐｐ． １２０６１２１６， Ｓｅｐｔｅｍｂｅｒ ２００１．
【非特許文献５】Ｑ． Ｌｉ， Ｎ． Ｚｈａｎｇ， ａｎｄ Ｈ． Ｃｈｅｎｇ． Ｓｐｒｉｎｇｒｏｂｏｔ： Ａ ｐｒｏｔｏ−ｔｙｐｅ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ａｎｄ ｉｔｓ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｌａｎｅ ｄｅｔｅｃ−ｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｓｙｓｔｅｍｓ， Ｖｏｌ． ５， Ｎｏ． ４，ｐｐ． ３００ ３０８， Ｄｅｃｅｍｂｅｒ ２００４．
【非特許文献６】Ｊ． Ｗ． Ｐａｒｋ， Ｊ． Ｗ． Ｌｅｅ， ａｎｄ Ｋ． Ｙ． ｔｈｏｎｇ． Ａ ｌａｎｅ−ｃｕｒｖｅ ｄｅｔｅｃ−ｔｉｏｎ ｂａｓｅｄ ｏｎ ａｎ ｌｃｆ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ， Ｖｏｌ． ２４，ｐｐ． ２３０１ ２３１３， ２００３．
【非特許文献７】Ｔ． Ｍ． ｖａｎ Ｖｅｅｎ ａｎｄ Ｆ． Ｃ． Ａ． Ｃｒｏｅｎ． Ｄｉｓｃｒｅｔｉｚａｔｉｏｎ ｅｒｒｏｒｓｉｎ ｔｈｅ ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ． １４， Ｎｏ．１−６， ｐｐ． １３７ １４５， １９８１．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車線のモデルが複雑な場合、計算時間が増大し検出された車線も不安定になる。
そのため、問題に応じてモデルの次元数を削減する必要がある。
【課題を解決するための手段】
【０００４】
本発明では、車載カメラで撮影した画像から，車の姿勢を考慮することで、車線のモデルを一次元とする。本手法では，カメラを載せた車の姿勢が道路面に対して変化せず，前もって調節されていることを前提とする。
具体的には、以下の手段を採用する。
（１） 少なくとも、路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（２） 上記（１）記載の車線検出方法において、
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
（３） 上記（１）記載の車線検出方法において、
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。
（４） 路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（５） 前記（４）記載の車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
（６） 前記（４）記載の車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。
【発明の効果】
【０００５】
本発明により、想定外の直線を検出しない安定した車線検出を少ないコストで実現できる。
【発明を実施するための最良の形態】
【０００６】
車両の進行方向に対し垂直な道路平面上の軸を等間隔に分割し、各領域にセルを割り当てる。画像上にエッジが検出されたら、対応するセルに対し投票を行う。このとき、セルが代表する画像上の直線からエッジまでの距離が近い程、投票する重みを増加させる。
全てのエッジに対して投票を行った後、投票値が一定値を超えかつ近傍セル内のどのセルよりも投票値が高かった場合、そのセルが代表する直線を車線とみなす。
【実施例】
【０００７】
（車線のモデル）：
図１は，カメラと道路面との位置・姿勢の関係を示す。図２は図１の座標系を示す。カメラの焦点Оを原点とした世界座標系を（Ｘ，Ｙ，Ｚ）で表す。初めに，カメラの載った車の姿勢を表す三つの単位ベクトルｐ＝（ｐｘ，ｐｙ，ｐｚ）Ｔ、ｑ＝（ｑｘ，ｑｙ，ｑｚ）Ｔ、ｓ＝（ｓｘ，ｓｙ，ｓｚ）Ｔを導入する。但し，ベクトルｐ、ｑ、ｓは互いに直交する。ベクトルｑは車の進行方向の逆向きであり，ベクトルｓは道路平面と直交する。道路面とカメラの焦点との距離は
【数１】
と正規化する。このとき、道路面上の座標系を（ｘｒ，ｙｒ）で表す。但し、ｘｒ軸とｙｒ軸は，それぞれ単位ベクトルｐ、ｑに平行とする。車線の境界はｘｒ軸上の一点で表す。
画像上での座標（ｘ，ｙ）からｘｒ軸への変換は、次式を用いて行う。
【数２】
但し、
【数３】
である。
【０００８】
（投票）：
ｘｒ軸のある範囲を等間隔なセルに分割し、セルの番号をｊとする。セルｊの領域の中心位置をｘｒｊとする。また、検出されたｉ番目のエッジ点の特徴量として、画像上の位置（ｘｉ，ｙｉ）とその点の輝度値勾配の方向ψｉを用いる。投票は、次式のように行う。
【数４】
但し、Ｎは検出されたエッジ点の数である。
【数５】
はセルｊに対応する画像上の直線の角度θｊからのψｉのずれによる重みであり、変数ψｉ、平均θｊ、標準偏差σθのガウス関数とする(非特許文献７参照)。ここで、θｊはｘｒｊから次式を用いて算出される。
【数６】
【数７】
は同じくセルに対応する画像上の直線からエッジ点（ｘｉ，ｙｉ）までの距離
【数８】
による重みを表し(図３、４参照)、変数ρｉｊ、平均ρｊ、標準偏差σρのガウス関数とする。但し、ρｊは式(3)から計算されるθｊから次式のように算出される。
【数９】
また、ρｉｊはθｊ方向における原点ｏとエッジ点（ｘｉ，ｙｉ）の間の幅であり、次式から算出される。
【数１０】
これは、直線度（特許第３６５３５４２号公報参照）に相当する。
式(2)を素直に実行する場合、エッジ点一つにつき全てのセルに対して重みを計算しなければならないが、それでは計算時間がかかるため、投票を行うセルはσρに応じて決める。具体的には、セルｊに対応する直線とエッジ点ｉとの間の距離
【数１１】
が３σρ以上なら、そのセルへの投票は行わないとする。
【０００９】
（ピーク検出）：
車線境界は、
【数１２】
のピークを探索することで検出する。注目しているセルｊの投票値
【数１３】
がその近傍セル
【数１４】
内で最大のとき、セルｊをピークとみなす。このとき、
【数１５】
を満たさないセルに関しては、探索の領域から除外する。
【００１０】
（実験）：
（設定条件）：
テスト動画テスト動画は高速道路を走行する車に載せたカメラから前方を撮影したものを用いた。エッジを検出するためにエッジ検出器を用いた。エッジの検出は前もって設定した“道路領域”に対して行った。図５は，幾つかのフレームにおけるエッジの検出結果を示す。但し，画像中の“黒”の領域はエッジ領域を示す。図の上段の画像は画像平面におけるエッジを示し，下段の画像は道路平面を真上から眺めたときのエッジ画像である。また，（ａ）から（ｄ）までの各列は異なるフレームにおける結果である。
【００１１】
（実験条件）：
車線のモデルに関する比較のため、gradient weighted Hough transform（GWHT）［７］を適用した。GWHTは，画像平面において次式のモデルを用いて直線を検出する手法である。
【数１６】
モデルのパラメータ空間
【数１７】
【数１８】
に関して、次の二つの場合で実行した。
A. 式(1)を用いてエッジ点（ｘｉ，ｙｉ）に対応するｘｒ軸上の点ｘｒｉを求め、ｘｒｉに応じて次式のように
【数１９】
を決定する。
【数２０】
【００１２】
B. （投票）：の節で説明したようにガウス関数とした。但し、σρ＝０．５６ [pixel]に設定した。
上述のA. B. においてパラメータ空聞
【数２１】
を１００個のセルに分割した。パラメータ空聞上でのピーク検出のための近傍領域は，５［cell］に設定した。また、
【数２２】
に対する閾値はλ＝２０とした。
【００１３】
（実験結果）：
図６は，GWHTによる直線の検出結果を原画像上に描いたものである。この図の（ａ）と（ｂ）において，明らかに車線境界とは違うところに直線が検出されているのがわかる。図７は，提案手法による車線境界の検出結果である。但し，上段はA.の場合，下段はB.の場合の結果を示す。図６において誤って検出された車線境界が，図７では検出されていないのがわかる。また、図７の（ａ）と（ｂ）を見ると、A.の場合で誤った所に車線境界が検出されているのがわかる。これらは，遠くの対向車のヘッドライトからのエッジに対して当てはめられたものである。図８は，提案手法におけるパラメータ空間への投票結果
【数２３】
である。図内の点線は検出された車線境界のパラメータを示す。対向車のヘッドライトのエッジに対応するピークは，A.の場合に比べてB.の場合の方が抑制されているのがわかる。これは、該当するエッジ点群がまばらに存在しており、直線らしさが小さいためである。
図９は図７の検出結果を撮像画像に参考のため重ねて表示した図である。この図から本発明の効果が格別なものであることがわかる。
【００１４】
(装置）：
本発明の装置の構成（図示省略）は、少なくとも、
上記した必要な手順および処理を行うＣＰＵ（中央演算装置）およびメモリ等からなる処理装置と、
道路の白線情報等を取得するためのビデオカメラ等の撮像装置と、
処理結果を表示するモニター等の画像表示装置を備える。
撮像装置および画像表示装置は処理装置により制御される。
処理装置により処理した結果は画像表示装置にリアルタイムで表示することができる。
【産業上の利用可能性】
【００１５】
以上は、車道の白線を対象とする実施例についての説明であったが、平面上に設けられた直線に沿って移動する移動体の制御に使用することができる。例えば、工場内での無人のロボット車両の運転制御等に使用できる。
【図面の簡単な説明】
【００１６】
【図１】カメラと道路面との位置・姿勢の関係を示す説明図である。
【図２】図１の座標系を示す説明図である。
【図３】画像面上における直線のパラメータ（ρ、θ）を示す図である。
【図４】直線とエッジ点との距離の説明図である。
【図５】幾つかのフレームにおけるエッジの検出結果を示す図である。
【図６】ＧＷＨＴによる直線の検出結果を原画像上に描いたものである。
【図７】提案手法による車線境界の検出結果である。
【図８】提案手法による投票結果である。
【図９】図７の検出結果を撮像画像に参考のため重ねて表示した図である。
【符号の説明】
【００１７】
【技術分野】
【０００１】
本発明は、車両に対し所定状態で取り付けられた撮像装置により取得した路面画像を画像処理して平行に描かれた車線を検出する車線検出方法および装置に関する。
【背景技術】
【０００２】
車載カメラで撮影された画像上において車線を検出することは，交通の状況や車の位置を推定するための基本的な処理である。近年，様々な車線検出手法が提案されている（例えば、非特許文献１〜７参照）。車線検出は，あるモデルを画像から得られたエッジ点や車線マーカーに当てはめることにより行われる。ＭｃＤｏｎａｌｄの非特許文献２は，車線境界の消失点が画像内である特定の領域内に収まるという仮定を用いることにより，直線モデルのパラメータ空間を制限したハフ変換を用いて車線境界を検出する手法を提案している。
【非特許文献１】Ｎ． Ａｐｏｓｔｏｌｏｆｆ ａｎｄ Ａ． Ｚｅｌｉｎｓｋｙ． Ｖｉｓｉｏｎ ｉｎ ａｎｄ ｏｕｔ ｏｆ ｖｅｈｉｃｌｅｓ：Ｉｎｔｅｇｒａｔｅｄ ｄｒｉｖｅｒ ａｎｄ ｒｏａｄ ｓｃｅｎｅ ｍｏｎｉｔｏｒｉｎｇ． Ｔｈｅ Ｉｎｔｅｒｎａ−ｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ， Ｖｏｌ． ２３， Ｎｏ． ４−５， ｐｐ．５１３ ５３８， Ａｐｒｉｌ−Ｍａｙ ２００４．
【非特許文献２】Ｊ． Ｂ． Ｍｃ Ｄｏｎａｌｄ． Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｔｈｅ ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ｔｏｌａｎｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｆｏｌｌｏｗｉｎｇ ｏｎ ｈｉｇｈ ｓｐｅｅｄ ｒｏａｄｓ． Ｉｎ Ｐｒｏｃ．ｏｆ ｔｈｅ Ｉｒｉｓｈ Ｓｉｇｎａｌｓ ａｎｄ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ， ２００１．
【非特許文献３】Ｖ． Ｋａｓｔｒｉｎａｋｉ， Ｍ． Ｚｅｒｖａｋｉｓ， ａｎｄ Ｋ． Ｋａｌａｉｔｚａｋｉｓ． Ａ ｓｕｒｖｅｙ ｏｆｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｔｒａｆｆｉｃ ａｐｐｌｉｃａｔｉｏｎｓ． Ｉｍａｇｅａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ， Ｖｏｌ． ２１， ｐｐ． ３５９ ３８１， ２００３．
【非特許文献４】Ｊ． Ｗ． Ｌｅｅ， Ｕ． Ｋ． Ｙｉ， ａｎｄ Ｋ． Ｒ． Ｂａｒｋ． Ａ ｃｕｍｕｌａｔｉｖｅ ｄｉｓ−ｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ ｏｆ ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ ｆｏｒ ｒｏａｄ−ｌａｎｅ ｄｅｔｅｃｔｉｏｎ． ＩＣＥ Ｔｒａｎｓ． Ｉｎｆ． Ｆ４ ｓｙｓｔ．， Ｖｏｌ． Ｅ８４−Ｄ， Ｎｏ． ９， ｐｐ． １２０６１２１６， Ｓｅｐｔｅｍｂｅｒ ２００１．
【非特許文献５】Ｑ． Ｌｉ， Ｎ． Ｚｈａｎｇ， ａｎｄ Ｈ． Ｃｈｅｎｇ． Ｓｐｒｉｎｇｒｏｂｏｔ： Ａ ｐｒｏｔｏ−ｔｙｐｅ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ａｎｄ ｉｔｓ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｌａｎｅ ｄｅｔｅｃ−ｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｓｙｓｔｅｍｓ， Ｖｏｌ． ５， Ｎｏ． ４，ｐｐ． ３００ ３０８， Ｄｅｃｅｍｂｅｒ ２００４．
【非特許文献６】Ｊ． Ｗ． Ｐａｒｋ， Ｊ． Ｗ． Ｌｅｅ， ａｎｄ Ｋ． Ｙ． ｔｈｏｎｇ． Ａ ｌａｎｅ−ｃｕｒｖｅ ｄｅｔｅｃ−ｔｉｏｎ ｂａｓｅｄ ｏｎ ａｎ ｌｃｆ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ， Ｖｏｌ． ２４，ｐｐ． ２３０１ ２３１３， ２００３．
【非特許文献７】Ｔ． Ｍ． ｖａｎ Ｖｅｅｎ ａｎｄ Ｆ． Ｃ． Ａ． Ｃｒｏｅｎ． Ｄｉｓｃｒｅｔｉｚａｔｉｏｎ ｅｒｒｏｒｓｉｎ ｔｈｅ ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ． １４， Ｎｏ．１−６， ｐｐ． １３７ １４５， １９８１．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
車線のモデルが複雑な場合、計算時間が増大し検出された車線も不安定になる。
そのため、問題に応じてモデルの次元数を削減する必要がある。
【課題を解決するための手段】
【０００４】
本発明では、車載カメラで撮影した画像から，車の姿勢を考慮することで、車線のモデルを一次元とする。本手法では，カメラを載せた車の姿勢が道路面に対して変化せず，前もって調節されていることを前提とする。
具体的には、以下の手段を採用する。
（１） 少なくとも、路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（２） 上記（１）記載の車線検出方法において、
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
（３） 上記（１）記載の車線検出方法において、
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。
（４） 路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする。
（５） 前記（４）記載の車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする。
（６） 前記（４）記載の車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする。
【発明の効果】
【０００５】
本発明により、想定外の直線を検出しない安定した車線検出を少ないコストで実現できる。
【発明を実施するための最良の形態】
【０００６】
車両の進行方向に対し垂直な道路平面上の軸を等間隔に分割し、各領域にセルを割り当てる。画像上にエッジが検出されたら、対応するセルに対し投票を行う。このとき、セルが代表する画像上の直線からエッジまでの距離が近い程、投票する重みを増加させる。
全てのエッジに対して投票を行った後、投票値が一定値を超えかつ近傍セル内のどのセルよりも投票値が高かった場合、そのセルが代表する直線を車線とみなす。
【実施例】
【０００７】
（車線のモデル）：
図１は，カメラと道路面との位置・姿勢の関係を示す。図２は図１の座標系を示す。カメラの焦点Оを原点とした世界座標系を（Ｘ，Ｙ，Ｚ）で表す。初めに，カメラの載った車の姿勢を表す三つの単位ベクトルｐ＝（ｐｘ，ｐｙ，ｐｚ）Ｔ、ｑ＝（ｑｘ，ｑｙ，ｑｚ）Ｔ、ｓ＝（ｓｘ，ｓｙ，ｓｚ）Ｔを導入する。但し，ベクトルｐ、ｑ、ｓは互いに直交する。ベクトルｑは車の進行方向の逆向きであり，ベクトルｓは道路平面と直交する。道路面とカメラの焦点との距離は
【数１】
と正規化する。このとき、道路面上の座標系を（ｘｒ，ｙｒ）で表す。但し、ｘｒ軸とｙｒ軸は，それぞれ単位ベクトルｐ、ｑに平行とする。車線の境界はｘｒ軸上の一点で表す。
画像上での座標（ｘ，ｙ）からｘｒ軸への変換は、次式を用いて行う。
【数２】
但し、
【数３】
である。
【０００８】
（投票）：
ｘｒ軸のある範囲を等間隔なセルに分割し、セルの番号をｊとする。セルｊの領域の中心位置をｘｒｊとする。また、検出されたｉ番目のエッジ点の特徴量として、画像上の位置（ｘｉ，ｙｉ）とその点の輝度値勾配の方向ψｉを用いる。投票は、次式のように行う。
【数４】
但し、Ｎは検出されたエッジ点の数である。
【数５】
はセルｊに対応する画像上の直線の角度θｊからのψｉのずれによる重みであり、変数ψｉ、平均θｊ、標準偏差σθのガウス関数とする(非特許文献７参照)。ここで、θｊはｘｒｊから次式を用いて算出される。
【数６】
【数７】
は同じくセルに対応する画像上の直線からエッジ点（ｘｉ，ｙｉ）までの距離
【数８】
による重みを表し(図３、４参照)、変数ρｉｊ、平均ρｊ、標準偏差σρのガウス関数とする。但し、ρｊは式(3)から計算されるθｊから次式のように算出される。
【数９】
また、ρｉｊはθｊ方向における原点ｏとエッジ点（ｘｉ，ｙｉ）の間の幅であり、次式から算出される。
【数１０】
これは、直線度（特許第３６５３５４２号公報参照）に相当する。
式(2)を素直に実行する場合、エッジ点一つにつき全てのセルに対して重みを計算しなければならないが、それでは計算時間がかかるため、投票を行うセルはσρに応じて決める。具体的には、セルｊに対応する直線とエッジ点ｉとの間の距離
【数１１】
が３σρ以上なら、そのセルへの投票は行わないとする。
【０００９】
（ピーク検出）：
車線境界は、
【数１２】
のピークを探索することで検出する。注目しているセルｊの投票値
【数１３】
がその近傍セル
【数１４】
内で最大のとき、セルｊをピークとみなす。このとき、
【数１５】
を満たさないセルに関しては、探索の領域から除外する。
【００１０】
（実験）：
（設定条件）：
テスト動画テスト動画は高速道路を走行する車に載せたカメラから前方を撮影したものを用いた。エッジを検出するためにエッジ検出器を用いた。エッジの検出は前もって設定した“道路領域”に対して行った。図５は，幾つかのフレームにおけるエッジの検出結果を示す。但し，画像中の“黒”の領域はエッジ領域を示す。図の上段の画像は画像平面におけるエッジを示し，下段の画像は道路平面を真上から眺めたときのエッジ画像である。また，（ａ）から（ｄ）までの各列は異なるフレームにおける結果である。
【００１１】
（実験条件）：
車線のモデルに関する比較のため、gradient weighted Hough transform（GWHT）［７］を適用した。GWHTは，画像平面において次式のモデルを用いて直線を検出する手法である。
【数１６】
モデルのパラメータ空間
【数１７】
【数１８】
に関して、次の二つの場合で実行した。
A. 式(1)を用いてエッジ点（ｘｉ，ｙｉ）に対応するｘｒ軸上の点ｘｒｉを求め、ｘｒｉに応じて次式のように
【数１９】
を決定する。
【数２０】
【００１２】
B. （投票）：の節で説明したようにガウス関数とした。但し、σρ＝０．５６ [pixel]に設定した。
上述のA. B. においてパラメータ空聞
【数２１】
を１００個のセルに分割した。パラメータ空聞上でのピーク検出のための近傍領域は，５［cell］に設定した。また、
【数２２】
に対する閾値はλ＝２０とした。
【００１３】
（実験結果）：
図６は，GWHTによる直線の検出結果を原画像上に描いたものである。この図の（ａ）と（ｂ）において，明らかに車線境界とは違うところに直線が検出されているのがわかる。図７は，提案手法による車線境界の検出結果である。但し，上段はA.の場合，下段はB.の場合の結果を示す。図６において誤って検出された車線境界が，図７では検出されていないのがわかる。また、図７の（ａ）と（ｂ）を見ると、A.の場合で誤った所に車線境界が検出されているのがわかる。これらは，遠くの対向車のヘッドライトからのエッジに対して当てはめられたものである。図８は，提案手法におけるパラメータ空間への投票結果
【数２３】
である。図内の点線は検出された車線境界のパラメータを示す。対向車のヘッドライトのエッジに対応するピークは，A.の場合に比べてB.の場合の方が抑制されているのがわかる。これは、該当するエッジ点群がまばらに存在しており、直線らしさが小さいためである。
図９は図７の検出結果を撮像画像に参考のため重ねて表示した図である。この図から本発明の効果が格別なものであることがわかる。
【００１４】
(装置）：
本発明の装置の構成（図示省略）は、少なくとも、
上記した必要な手順および処理を行うＣＰＵ（中央演算装置）およびメモリ等からなる処理装置と、
道路の白線情報等を取得するためのビデオカメラ等の撮像装置と、
処理結果を表示するモニター等の画像表示装置を備える。
撮像装置および画像表示装置は処理装置により制御される。
処理装置により処理した結果は画像表示装置にリアルタイムで表示することができる。
【産業上の利用可能性】
【００１５】
以上は、車道の白線を対象とする実施例についての説明であったが、平面上に設けられた直線に沿って移動する移動体の制御に使用することができる。例えば、工場内での無人のロボット車両の運転制御等に使用できる。
【図面の簡単な説明】
【００１６】
【図１】カメラと道路面との位置・姿勢の関係を示す説明図である。
【図２】図１の座標系を示す説明図である。
【図３】画像面上における直線のパラメータ（ρ、θ）を示す図である。
【図４】直線とエッジ点との距離の説明図である。
【図５】幾つかのフレームにおけるエッジの検出結果を示す図である。
【図６】ＧＷＨＴによる直線の検出結果を原画像上に描いたものである。
【図７】提案手法による車線境界の検出結果である。
【図８】提案手法による投票結果である。
【図９】図７の検出結果を撮像画像に参考のため重ねて表示した図である。
【符号の説明】
【００１７】
【特許請求の範囲】
【請求項１】
路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出方法。
【請求項２】
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
【請求項３】
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項１記載の車線検出方法。
【請求項４】
路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出装置。
【請求項５】
前記車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項４記載の車線検出装置。
【請求項６】
前記車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項４記載の車線検出装置。
【請求項１】
路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置において、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出方法。
【請求項２】
前記車線検出装置において、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項１記載の車線検出方法。
【請求項３】
前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項１記載の車線検出方法。
【請求項４】
路面に対し一定角度になるように車両に搭載した撮像装置と、前記撮像装置の撮像画像を取り込んで所定の処理を行い画像上の直線を検出する処理を行う処理装置とを備えた車線検出装置であって、前記処理装置により、
前記撮像装置の撮像画像上においてエッジが検出された点を車両の進行方向に直交する道路上の軸の座標に変換し、前記道路上の軸を等間隔で区切った領域のうち対応する領域に投票を行い、すべてのエッジ点において前述した処理を行ったあとに注目する前記道路上の領域が近傍領域内で最大のときその領域に車線境界が存在するとみなす処理を行うことを特徴とする車線検出装置。
【請求項５】
前記車線検出装置であって、前記処理装置により、前記道路上の軸を等間隔で区切った各領域の代表点を撮像画像上の直線に変換し、投票の重みを、前記直線へのエッジ点からの距離に応じた重みと、エッジ点における輝度値勾配の方向と前記直線の方向とのずれに応じた重みとの積とすることを特徴とする請求項４記載の車線検出装置。
【請求項６】
前記車線検出装置であって、前記処理装置により、前記車線検出装置に画像表示装置を組み込み、前記注目している領域の投票値がその近傍領域内で最大のときその領域を車線境界とみなす処理を行った結果を前記撮像画像上に白線のエッジとして表示した画像を前記画像表示装置に表示するようにしたことを特徴とする請求項４記載の車線検出装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図９】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図９】
【公開番号】特開２００７−２１９７６７（Ｐ２００７−２１９７６７Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−３８６７０（Ｐ２００６−３８６７０）
【出願日】平成１８年２月１５日（２００６．２．１５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度文部科学省委託研究「科学技術総合研究：状況・意図理解によるリスクの発現と回避２」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１５日（２００６．２．１５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度文部科学省委託研究「科学技術総合研究：状況・意図理解によるリスクの発現と回避２」、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]