道路認識装置
【課題】車両前方の撮像画像中から車線や横断歩道をリアルタイムで検出可能であり、横断歩道までの距離や横断歩道の距離方向の幅を検出可能な道路認識装置を提供する。
【解決手段】道路認識装置1は、自車両前方を撮像する撮像手段2と、画像T上の水平ラインj上を探索して車線候補点cr、clを検出する車線検出手段10と、車線候補点crに対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該水平ラインjの探索領域Slを拡大し、当該水平ラインj上で輝度の繰り返しパターンが存在するか否かを判断するパターン探索手段11と、繰り返しパターンが存在する各水平ラインjをグループ化するグループ化手段12とを備え、グループ化手段12は、グループ化したグループの最も手前側の位置までの距離Znearを横断歩道までの距離Zcとして算出し、グループの実空間上の距離方向の幅Wzを横断歩道の幅Wczとして算出する。
【解決手段】道路認識装置1は、自車両前方を撮像する撮像手段2と、画像T上の水平ラインj上を探索して車線候補点cr、clを検出する車線検出手段10と、車線候補点crに対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該水平ラインjの探索領域Slを拡大し、当該水平ラインj上で輝度の繰り返しパターンが存在するか否かを判断するパターン探索手段11と、繰り返しパターンが存在する各水平ラインjをグループ化するグループ化手段12とを備え、グループ化手段12は、グループ化したグループの最も手前側の位置までの距離Znearを横断歩道までの距離Zcとして算出し、グループの実空間上の距離方向の幅Wzを横断歩道の幅Wczとして算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路認識装置に係り、特に、道路面上に標示された車線や横断歩道を検出することが可能な道路認識装置に関する。
【背景技術】
【0002】
近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のカメラやビデオカメラで撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状や道路標示等の認識を行う道路認識装置の開発が進められている。車両が走行している道路の形状等を認識するためには、自車両前方の道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等(以下、道路面上に標示された追い越し禁止線や区画線等を車線という。)の位置を検出することが重要となる。
【0003】
車線検出では、撮像画像の画素の輝度に着目し、車道と車線とで画素の輝度が大きく異なることを利用して輝度が大きく変わる画素部分をエッジとして抽出することで車線を検出するように構成されていることが多い(例えば特許文献1参照)。
【0004】
しかしながら、前記のようなカメラ情報に基づいた車線検出では、車線と似た輝度情報をもつ横断歩道等の道路標示を車線と誤検出してしまう可能性がある。つまり、車線の横幅の規格は10cm〜20cmに設定されているが、実際の道路面上には50cm程度の横幅の太い車線が標示されている場合があるため、車線検出において横幅の閾値を50cm程度くらいまで拡大して設定すると、太さが50cm程度の白線ブロックが繰り返し標示されている横断歩道まで車線として検出してしまう場合があった。また、検出する車線の横幅の閾値を20cm程度まで狭めると、50cm程度の広い横幅の車線を検出できなくなるという問題があった。
【0005】
そこで、特許文献2に記載の道路認識装置では、カメラ等の撮像手段で撮像された画像上に設定された所定の1本の水平ライン(エピポーララインともいう。)上の各画素の輝度の繰り返しパターンを検出し、それが道路面上にある場合に横断歩道として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−331389号公報
【特許文献2】特開2006−309313号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、特許文献2に記載の道路認識装置では、撮像された画像中に横断歩道が撮像されており、自車両の前方に横断歩道が存在することは高精度に検出できるが、その横断歩道が実際に自車両からどれほど離れた位置にあるかを追跡して検出することができない。そのため、例えば検出した横断歩道の手前で自車両を停止させようとしても、検出した横断歩道までの距離が分からないため、自車両を横断歩道の手前で停止させることができない。
【0008】
これを回避するために、例えば、特許文献2に記載された横断歩道を検出するための水平ラインの設定を1ライン分ではなく全画面的に行ったり、或いは例えば画像上での無限遠に対応する消失点の下方の全画像領域的に行ったりすると、確かに横断歩道が実際に自車両からどれほど離れた位置にあるか等を検出することは可能となるが、計算処理の負荷が非常に大きくなり、横断歩道のリアルタイムの検出、すなわち例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとの横断歩道の検出を実現することが困難になる。
【0009】
本発明は、前記事情に鑑みてなされたものであり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出可能で、かつ、横断歩道までの距離や横断歩道の距離方向の幅を検出可能な道路認識装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする。
【0011】
第2の発明は、第1の発明の道路認識装置において、
前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする。
【0012】
第3の発明は、第1または第2の発明の道路認識装置において、前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする。
【0014】
第5の発明は、第1から第4のいずれかの発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする。
【0015】
第6の発明は、第5の発明の道路認識装置において、前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする。
【0016】
第7の発明は、第6の発明の道路認識装置において、前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする。
【0017】
第8の発明は、第1から第7のいずれかの発明の道路認識装置において、
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする。
【発明の効果】
【0018】
第1の発明によれば、撮像手段から、撮像した画像の1画素幅の水平ラインごとに送信されてくる各画素の輝度のデータに基づいて、車線検出手段が車線候補点を検出し、その処理の中で、パターン探索手段が必要に応じて水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを探索し、グループ化手段が、繰り返しパターンが存在する各水平ラインをグループ化する。また、パターン探索手段は、車線検出手段が検出した車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを判断する。
【0019】
そのため、横断歩道を全画面的に探索する必要がなくなり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出することが可能となるため、例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。
【0020】
また、グループ化手段が、グループ化した水平ラインのグループについて、グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、また、グループの実空間上の距離方向の幅を横断歩道の幅として算出することで、横断歩道までの距離や横断歩道の距離方向の幅を的確に検出することが可能となる。そのため、例えば、的確に検出された横断歩道までの距離に基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。
【0021】
第2の発明によれば、前記発明の効果に加え、パターン探索手段は、車線検出手段が車線候補点を探索するために設定した自車両の左右の探索領域を利用して、その一方側の探索領域を拡大して繰り返しパターンが存在するか否かを判断することが可能となるため、パターン探索のための探索領域の拡大を非常にスムーズかつ瞬時に行うことが可能となる。そのため、画像中からの横断歩道をリアルタイムで検出することが可能となり、前記発明の効果を的確に発揮することが可能となる。
【0022】
第3の発明によれば、繰り返しパターンが存在すると判断され、横断歩道が撮像されている可能性が高い水平ライン上で検出した車線候補点を棄却して、車線の検出の対象から除外することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。
【0023】
第4の発明によれば、例えば後述する図21に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、横断歩道に対応するグループの最も奥側の位置までの距離を算出し、その距離から、過去のフレームで算出した横断歩道の幅を減算することで、横断歩道までの距離を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0024】
第5の発明によれば、前記各発明の効果に加え、グループ化手段が横断歩道に対応するものとしてグループ化したグループに対して、グループを検出したフレームの数等に応じて、グループの信頼度を算出して当該グループに割り当てることで、検出したグループが横断歩道に対応するものである確からしさを明確にして数値化することが可能となる。
【0025】
第6の発明によれば、上記のグループの信頼度に基づいて、今回のフレームと過去のフレームでの当該グループの実空間上の距離方向の幅を重み付け平均して重み付け平均値を算出することで、前記各発明の効果に加え、検出されるグループの距離方向の幅が各フレームごとにばらついたとしても、安定的に算出される重み付け平均値を横断歩道の距離方向の幅として信頼して用いることが可能となる。
【0026】
第7の発明によれば、上記のように、安定的に算出され信頼性が高い状態で算出される重み付け平均値を横断歩道の距離方向の幅とみなすことができる。そして、例えば後述する図21に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、グループの最も奥側の位置までの距離から減算することで、自車両から横断歩道までの距離を的確にかつ信頼性が高い状態で算出することが可能となり、前記各発明の効果をより的確に発揮することが可能となる。
【0027】
第8の発明によれば、前回のフレームで検出したグループの画像中の位置や、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの画像上の位置を推測し、推定した位置の水平ライン上では車線候補点の検出を行わないように構成することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。
【図面の簡単な説明】
【0028】
【図1】本実施形態に係る道路認識装置の構成を示すブロック図である。
【図2】基準画像の一例を表す図である。
【図3】水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。
【図4】水平ライン上を探索して得られる各画素の輝度を表すグラフである。
【図5】図2の基準画像上に検出された車線候補点を表す図である。
【図6】ハフ変換処理の結果、抽出される直線を表す図である。
【図7】図6の各直線の中から車線にふさわしい直線として選択された直線を表す図である。
【図8】自車両に近い側に確定された直線を表す図である。
【図9】図2の基準画像上に検出された左右の車線を表す図である。
【図10】形成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルを表す。
【図11】車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。
【図12】車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。
【図13】グループ化手段におけるグループ化処理の手順を示すフローチャートである。
【図14】基準画像の一例を表す図である。
【図15】図14の基準画像上に設定された探索領域を表す図である。
【図16】横断歩道の最も手前側の位置の水平ラインを説明する図である。
【図17】図16の拡大図であり、左側の探索領域を右側の探索領域に隣接する画素まで拡大することを説明する図である。
【図18】図16の水平ライン上で検出される各画素の輝度の分布を示す図である。
【図19】繰り返しパターンを説明する図であり、(A)は横断歩道が理想的に検出された場合、(B)は白線ブロックの間隔がその幅の奇数倍になっている場合、(C)は横断歩道に対応する繰り返しパターンが存在しないと判断される場合を表す。
【図20】同一グループにおける最も手前側の水平ラインおよび最も奥側の水平ラインを説明する図である。
【図21】横断歩道の手前側が基準画像からはみ出し、基準画像に撮像されなくなった状態を表す図である。
【発明を実施するための形態】
【0029】
以下、本発明に係る道路認識装置の実施の形態について、図面を参照して説明する。
【0030】
なお、以下では、ステレオカメラを用いて一対の画像を撮像し、画像上の各画素について距離の情報を算出し、それに基づいて、一方の画像上から車線や横断歩道を検出する場合について説明するが、単眼のカメラを用いるように構成することも可能である。単眼のカメラを用いる場合については後で説明する。
【0031】
本実施形態に係る道路認識装置1は、図1に示すように、撮像手段2や画像処理手段6、検出手段9等で構成されている。なお、検出手段9より前側、すなわち撮像手段2から画像データメモリ5や画像処理手段6までの構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0032】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0033】
メインカメラ2aとサブカメラ2bは、道路面から同じ高さに取り付けられており、フレームごとに同時に車両の前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは前述した図2に例示される基準画像Tの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像の画像データを出力するようになっている。
【0034】
なお、その際、撮像手段2のメインカメラ2aやサブカメラ2bからは、撮像した基準画像Tや比較画像の各画素の輝度pのデータが、1画素幅の水平ラインごとに、かつ、下方の水平ラインから順に変換手段3に送信されるようになっている。
【0035】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255の256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に順次送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0036】
画像処理手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ7は、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックを設定し、基準画素ブロックに対応する比較画像中のエピポーラライン上の基準画素ブロックと同形の各比較画素ブロックについて下記(1)式に従ってSAD値を算出し、SAD値が最小の比較画素ブロックを特定するようになっている。
【0037】
【数1】
【0038】
なお、p1stは基準画素ブロック中の各画素の輝度を表し、p2stは比較画素ブロック中の各画素の輝度を表す。また、上記の総和は、基準画素ブロックや比較画素ブロックが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0039】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックについて、特定した比較画素ブロックの比較画像上の位置と当該基準画素ブロックの基準画像上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、このようにして算出した視差dp或いは下記(4)を式に従って算出される距離Zを基準画像Tの各基準画素ブロックにそれぞれ割り当てて図示を省略する距離画像Tzを形成するようになっている。
【0040】
なお、視差dpと距離Zとの関係は、以下のように1対1に対応付けられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にZ軸をとり、左右方向および上下方向にそれぞれX軸およびY軸をとった場合の実空間上の点(X,Y,Z)と、上記の視差dpおよび基準画像T(或いは距離画像Tz)上の画素の座標(i,j)とは、三角測量の原理に基づいて、
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
で表される座標変換により1対1に対応付けることができる。
【0041】
ここで、上記各式において、CDは一対の撮像手段の間隔、PWは1画素当たりの視野角、CHは一対の撮像手段の取り付け高さ、IVおよびJVは正面の無限遠点の距離画像TZ上のi座標およびj座標、DPは消失点視差を表す。
【0042】
また、イメージプロセッサ7ではフィルタリング処理も行われ、基準画像Tの基準画素ブロックと比較画像の比較画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差dpを無効と出力するようになっており、イメージプロセッサ7は、有効とされた視差dpのみを距離データメモリ8に順次格納させるとともに、検出手段9に順次送信するようになっている。
【0043】
検出手段9は、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、検出手段9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、自車両の車速Vやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0044】
検出手段9は、車線検出手段10と、パターン探索手段11と、グループ化手段12とを備えており、さらに図示しないメモリを備えている。
【0045】
車線検出手段10は、自車両の前方を撮像した基準画像T上に車線を検出するようになっている。なお、車線検出手段10における車線検出処理の構成は、本願出願人により先に提出された前記特許文献1に詳述されており、詳細な説明はそれらの公報に委ねる。また、本実施形態では、車線検出手段10における車線検出処理の中で、後述する所定の条件が満たされた場合に、処理の主体がパターン探索手段11に移行するが、以下では、まず、車線検出手段10における車線検出処理について一通り説明する。
【0046】
車線検出手段10は、撮像手段2により撮像された基準画像Tおよび比較画像の一対の画像のうち、基準画像Tを対象とし、基準画像T上の水平ラインj上を探索して、互いに隣接する画素の輝度pの差Δpが所定の閾値Δpth1以上である画素であって、道路面の位置にある画素を車線候補点cr、clとして検出するようになっている。そして、この車線候補点cr、clの検出処理を、探索する水平ラインjを本実施形態では基準画像Tの上方向にシフトさせながら行い、検出した車線候補点cr、clをつなぎ合わせて今回のフレームの基準画像T上に車線LR、LLを検出するようになっている。
【0047】
なお、本実施形態では、前述したように、撮像手段2から、撮像した基準画像Tの各画素の輝度pのデータが、1画素幅の水平ラインjごとに、かつ、下方の水平ラインjから順に送信されてくるため、車線検出手段10は上記のように探索する水平ラインjを基準画像Tの上方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成されているが、例えば、撮像手段2から基準画像Tの各水平ラインjの各画素の輝度pのデータが上方の水平ラインjから順に送信されてくる場合には、探索する水平ラインjを基準画像Tの下方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成することが可能である。
【0048】
具体的には、車線検出手段10は、本実施形態では、まず、前回のフレームで検出した右側の車線LRlastと左側の車線LLlastの基準画像T上での位置を、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて修正して、今回のフレームにおける基準画像T上での車線の各位置を推定する。そして、図3に示すように、推定した今回のフレームでの基準画像T上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインj上で車線候補点cr、clを探索する探索領域Sr、Slとしてそれぞれ自車両の左右に設定するようになっている。
【0049】
そして、図3に示すように、撮像手段2から、撮像した基準画像Tのうち1画素幅の水平ラインjの各画素の輝度pが入力されてくると、本実施形態では、車線検出手段10は、まず、右側の探索領域Srにおける水平ラインj上を領域Srの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図4に示すように、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された所定の閾値Δpth1以上となり輝度pが大きく変化する画素を車線候補点crとして検出するようになっている。
【0050】
また、本実施形態では、車線検出手段10は、車線候補点crを検出した後も水平ラインj上をさらに右方向に探索し、ある画素の輝度pとそれに隣接する画素の輝度pとの差Δpが予め設定された所定の閾値Δpth2以下となり輝度pが大きく減少する画素がある場合、その画素を車線終了点crとして検出するようになっている。また、車線検出手段10は、車線候補点crと車線終了点creとを検出するごとに、視差dpの情報等に基づいて車線候補点crと車線終了点creとの間の実空間上の距離すなわち横幅Wr-eを算出するようになっている。
【0051】
そして、車線検出手段10は、水平ラインj上における右側の探索領域Srでの探索を終了すると、続いて、同じ水平ラインj上における左側の探索領域Slでの探索を領域Slの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点clや車線終了点cleを検出し、車線候補点clと車線終了点cleとの間の実空間上の距離すなわち横幅Wl-eを算出するようになっている。
【0052】
車線検出手段10は、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインjの各画素の輝度pが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインjを本実施形態では基準画像Tの上方向にシフトさせながら車線候補点cr、clや車線終了点cre、cleを検出するようになっている。
【0053】
このようにして検出された車線候補点cr、clを基準画像T上にプロットすると、図5に示すように、右側の車線付近の領域Aと左側の車線付近の領域Bにそれぞれ車線候補点cr、clがプロットされる。なお、図5や以下の各図では、右側と左側の車線候補点cr、clがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、さらに多数の車線候補点cr、clが検出される。
【0054】
また、本実施形態では、車線検出手段10は、例えば右側の車線に対応する車線候補点crを検出するごとに、検出した車線候補点crの座標(i,j)を図示しないハフ平面に投票するようになっており、上記のように各水平ラインjでの車線候補点crの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。
【0055】
左側の車線に対応する車線候補点clについても同様にハフ変換処理を行うと、図5に示した結果から、例えば図6に示すように、右側の車線に対応する直線として直線r1、r2が、また、左側の車線に対応する直線として直線l1、l2がそれぞれ抽出される。そこで、車線検出手段10は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図7に示すように、右側および左側の車線にふさわしい直線として直線r1、l1をそれぞれ選択するようになっている。
【0056】
そして、車線検出手段10は、自車両に近い側では、図8に示すように、選択した直線r1、l1の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点cr、clからのi軸方向およびj軸方向の各変位が所定範囲内にある車線候補点cr、clをそれぞれ追跡しながらつなぎ合わせていくことで、図9に示すように、基準画像T上に車線LR、LLをそれぞれ検出するようになっている。
【0057】
車線検出手段10は、このようにして検出した車線LR、LLの情報、車線LR、LL検出の基となった車線候補点cr、clの各座標、およびそれらに対応する車線終了点cre、cleの各座標等をそれぞれメモリに保存するようになっている。
【0058】
一方、本実施形態では、車線検出手段10は、このようにして検出した左右の車線LR、LLの情報に基づいて、実空間上における車線の三次元的な路面モデルを形成するようになっている。本実施形態では、車線検出手段10は、例えば図10(A)、(B)に示すように、検出した車線LL、LRを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。
【0059】
本実施形態では、各所定区間ごとの直線式を、下記(5)、(6)式で表され図10(A)に示されるZ−X平面上の路面モデルである水平形状モデルと、下記(7)、(8)式で表され図10(B)に左車線LLが代表して示されるZ−Y平面上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。
【0060】
[水平形状モデル]
左車線LL x=aL・z+bL …(5)
右車線LR x=aR・z+bR …(6)
[道路高モデル]
左車線LL y=cL・z+dL …(7)
右車線LR y=cR・z+dR …(8)
【0061】
なお、本実施形態では、上記のように車線検出手段10で自車両前方等の路面の形状を検出するようになっているが、必ずしも路面の形状を検出する必要はなく、例えば自車両前方等の路面の形状を平面として近似して以下の処理を行うように構成することも可能である。また、上記のモデルは、例えば、次回のフレームにおいて、前述したように、輝度pが隣接する画素の輝度pとの差Δpが所定の閾値Δpth1以上である画素が道路面の位置にあるか否かの判断に用いられる。
【0062】
パターン探索手段11(図1参照)は、上記のようにして車線検出手段10が算出した車線候補点cr、clに対応する車線の横幅Wr-e、Wl-eが横断歩道の横幅に相当する横幅であった場合には、当該車線候補点cr、clが検出された水平ラインjの探索における探索領域Srや探索領域Slを拡大して、当該水平ラインj上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている。
【0063】
また、グループ化手段12は、上記のようにしてパターン探索手段11が検出した繰り返しパターンが存在する水平ラインjが複数存在する場合に、これらの複数の水平ラインjの基準画像T上の間隔や実空間上の距離方向(すなわちZ軸方向)の間隔に基づいて、複数の水平ラインjが同一の横断歩道が撮像された水平ラインか否かを判断し、同一の横断歩道が撮像されたものと判断した複数の水平ラインjをグループ化するとともに、グループ化した複数の水平ラインjの最も手前側の位置までの距離および横断歩道の実空間上の距離方向の幅を算出するようになっている。
【0064】
以下、パターン探索手段11におけるパターン探索処理およびグループ化手段12におけるグループ化処理について、前述した車線検出手段10における車線候補点cr、clの検出処理とあわせて図11〜図13に示すフローチャートに従って説明する。また、それとともに、本実施形態に係る道路認識装置1の作用について説明する。
【0065】
前述したように、車線検出手段10は、今回のフレームで撮像される基準画像Tが図14に示すような画像である場合、まず、前回のフレームで検出した左右の車線LRlast、LLlastとフレーム間の自車両の挙動に基づいて、図15に示すように、今回のフレームでの基準画像T上に、各水平ラインj上で車線候補点cr、clを探索する探索領域Sr、Slをそれぞれ設定する(ステップS1)。
【0066】
そして、撮像手段2から最初に入力される基準画像Tの水平ラインj0上を右側の領域Srの左端の探索開始点isrから右方向に探索し(ステップS2)、隣接する画素の輝度pとの差Δpが閾値Δpth1以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点crとして検出する(ステップS3;YES)。
【0067】
なお、以下では、基準画像Tの最下端の水平ラインj0から探索を開始することを前提に説明するが、必ずしも基準画像Tの最下端の水平ラインj0から探索を開始する必要はなく、適宜の水平ラインjから探索を開始するように構成することが可能である。また、右側の探索領域Srで車線候補点crが検出されない場合には(ステップS3;NO)、左側の探索領域Slでの探索に移行する(ステップS8)。
【0068】
車線検出手段10は、車線候補点crを検出した場合に(ステップS3;YES)、その水平ラインj0のさらに右側に車線終了点crを検出した場合には(ステップS4;YES)、車線候補点crと車線終了点creとの間の実空間上の横幅Wr-eを算出する(ステップS5)。そして、算出した車線候補点crと車線終了点creとの横幅Wr-eが、予め設定された所定の横幅閾値Wth以上か否かを判断する(ステップS6)。
【0069】
ここで、算出した車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上である場合には(ステップS6;YES)、検出した車線候補点crは、追い越し禁止線や区画線等の車線ではなく、横断歩道のゼブラパターンを構成する各白線ブロックのうちの1つである可能性があるため、この水平ラインj0での処理が、車線検出手段10による車線候補点cr、clの検出処理から、後述するパターン探索手段11によるパターン探索処理に移行する。なお、この横幅閾値Wthは例えば30cmに設定される。
【0070】
また、算出した車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth未満であれば(ステップS6;NO)、車線検出手段10は、検出した車線候補点crの座標をハフ変換のためのハフ平面に投票する(ステップS7)。
【0071】
続いて、車線検出手段10は、今度は、水平ラインj0における左側の探索領域Slでの探索に移行し、水平ラインj0上を左側の領域Slの右端の探索開始点islから左方向に探索し(ステップS8)、隣接する画素の輝度pとの差Δpが閾値Δpth1以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点clとして検出する(ステップS9;YES)。
【0072】
そして、検出した車線候補点clの座標をハフ変換のためのハフ平面に投票する(ステップS10)。車線候補点clが検出されなければ(ステップS9;NO)、ステップS10の処理はスキップされる。車線検出手段10は、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0073】
一方、前述したように、車線検出手段10により算出された車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上である場合には(ステップS6;YES)、当該水平ラインjmでの処理が、車線検出手段10による車線候補点cr、clの検出処理から、パターン探索手段11によるパターン探索処理に移行する。
【0074】
例えば、図16に示すように、横断歩道の最も手前側の位置の水平ラインjn上で探索を行う際には、車線検出手段10により算出された車線候補点crと車線終了点creとの横幅Wr-eは横幅閾値Wth以上になる(ステップS6;YES。図17の拡大図参照)。このような場合には、車線検出手段10による車線候補点cr、clの検出処理を一時中断し、図11のステップS12以降のパターン探索手段11によるパターン探索処理に移行する。
【0075】
なお、右側の探索領域Srで、車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上(ステップS6;YES)であるような車線候補点crが検出された場合に、車線終了点creのさらに右側に探索領域Srを拡大して、水平ラインjn上に高輝度の画素部分と低輝度の画素部分とが繰り返される繰り返しパターンが現れるか否かを判断するように構成することも可能である。
【0076】
また、図11のステップS12以降のパターン探索手段11によるパターン探索処理に移行すると、図11のフローチャートからも分かるように、車線検出手段10が検出した車線候補点crの情報は、パターン探索手段11が当該水平ラインjn上に後述する繰り返しパターンが存在すると判断した場合(ステップS14;YES)には、ハフ平面への投票の対象にならず、車線終了点creの情報とともに棄却される。
【0077】
このように、本実施形態では、車線検出手段10は、パターン探索手段11により水平ラインjn上に繰り返しパターンが存在すると判断された場合には(ステップS14;YES)、当該水平ラインjn上で検出した車線候補点crを棄却して、車線LRの検出の対象から除外するようになっている。また、繰り返しパターンが存在すると判断された水平ラインjnでは、左側の車線候補点clや車線終了点cleの探索(ステップS8〜S10)も行われない。
【0078】
パターン探索処理では、パターン探索手段11は、まず、当該水平ラインjnの探索における探索領域を拡大するようになっている(ステップS12)。その際、この段階では、上記のように右側の探索領域Srにおける探索は終了しているため、本実施形態では、パターン探索手段11は、図17に示すように、左側の探索領域Slを右側の探索領域Srに隣接する画素まで拡大する。
【0079】
すなわち、パターン探索手段11は、左側の探索領域Slの右端の探索開始点islを、最初に設定した探索領域Slの探索開始点isl_oldから右側の探索領域Srの左端の探索開始点isrの左側に隣接する画素位置まで移動させて探索開始点isl_newとし、その探索開始点isl_newから左方向に探索するように左側の探索領域Slを拡大するようになっている。
【0080】
そして、パターン探索手段11は、水平ラインjn上を探索開始点isl_newから左方向に探索しながら各画素の輝度pを読み取り(ステップS13)、当該水平ラインjn上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている(ステップS14)。
【0081】
本実施形態では、パターン探索手段11は、以下の各条件を満たす場合に繰り返しパターンが存在すると判断するようになっている。なお、水平ラインjn上に高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在する場合、各画素の輝度pは例えば図18に示すような分布になる。
【0082】
条件1:水平ラインjn上の画素中に、左側に隣接する画素との輝度pの差分Δpが正の閾値Δpth3以上である画素が存在すること。以下、この画素を開始画素といい、開始画素に対応する実空間上の点を開始点という。
条件2:開始点が道路面上にあること。
条件3:水平ラインjn上の画素中に、左側に隣接する画素との輝度pの差分Δpが負の閾値Δpth4以下である画素が存在すること。以下、この画素を終了画素といい、終了画素に対応する実空間上の点を終了点という。
【0083】
条件4:開始点と終了点との間隔が所定の範囲内であり、かつ、開始画素から終了画素までの各画素の輝度pの平均値paveが白線輝度判定閾値pave-th以上である高輝度の画素部分が存在すること。
条件5:隣接する高輝度の画素部分の間隔が高輝度の画素部分の幅と等しいか、または高輝度の画素部分の幅の奇数倍であること。
条件6:高輝度の画素部分が3箇所以上存在すること。
【0084】
条件1での開始画素における輝度pの差分Δpの制限は、車道のアスファルトと横断歩道の白線ブロックとの境界には、通常、輝度特性に強いエッジ強度が現れることによる。条件2は、条件1をクリアする画素であっても、例えば、その画素がガードレールや電信柱、先行車両のピラーやバンパ等である場合には開始画素から排除することを目的とするものである。
【0085】
条件3および条件4は、横断歩道の白線ブロックの開始点とは反対側の端部である終了点を見出し、開始点と終了点の間隔および両者間に存する画素の輝度が横断歩道の白線ブロックとして適切であるか否かを判断するためのものである。横断歩道の白線ブロックの幅の規格は45〜50cm程度とされており、車線の規格10〜20cmより広い。そのため、例えば、誤差等を含めて開始点と終了点との間隔が実空間上で25〜70cmの範囲内であれば、横断歩道の白線ブロックであると判別することができる。
【0086】
条件5および条件6は、以上のようにして認識された画素ごとの輝度の繰り返しパターンが横断歩道の白線ブロックのように一定の間隔をおいて繰り返し検出されるか否かを判断するためのものである。横断歩道は、図19(A)に示されるように理想的には白線ブロックが白線ブロックと同じ幅分の間隔を置いて繰り返し標示されるものであるが、図19(B)に示されるように自動車のタイヤ痕等で一部の白線ブロックが白線ブロックと認識されない場合もある。しかし、その場合でも、検出された白線ブロック同士の間隔は白線ブロックの幅の奇数倍の間隔になるはずである。
【0087】
そのため、本実施形態では、パターン探索手段11は、前記条件4までで検出された高輝度の画素部分の開始点と終了点との実空間上の距離を算出し、高輝度の画素部分の間隔がその距離に等しいか、或いは高輝度の画素部分の幅の奇数倍であり、このような高輝度の画素部分が3回以上繰り返されている場合に、当該水平ラインjn上に、横断歩道に対応する繰り返しパターンが存在すると判断するようになっている(ステップS14;YES)。
【0088】
そのため、図19(C)に示されるように、高輝度の画素部分、すなわち、白線ブロックと見なし得る部分が同じ幅であっても、その間隔が上記条件を満たさない場合には横断歩道とは見なされず、このような場合、パターン探索手段11は、横断歩道に対応する繰り返しパターンが存在しないと判断するようになっている(ステップS14;NO)。
【0089】
パターン探索手段11は、当該水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断すると(ステップS14;YES)、当該水平ラインjnに対してフラグ「1」を付与してフラグを立てるとともに(ステップS15)、高輝度の画素部分の数すなわち横断歩道の白線ブロックの数を、当該水平ラインjnに対応付けてメモリに保存するようになっている(ステップS16)。図18の場合は、高輝度の画素部分の数は、右側の探索領域Srで検出された1個を含めて5個となる。
【0090】
そして、パターン探索手段11により、上記のように当該水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断されて(ステップS14;YES)、ステップS15、S16の各処理が行われると、続いて、グループ化手段12によりグループ化処理が行われるようになっている(ステップS17)。
【0091】
グループ化処理では、図13のフローチャートに示されるように、グループ化手段12は、まず、上記のようにしてパターン探索手段11が検出した繰り返しパターンが存在する水平ラインjが複数存在するか否かを判断するようになっている。すなわち、グループ化手段12は、当該水平ラインjnが、繰り返しパターンが存在すると判断された1本目の水平ラインであるか否かを判断する(ステップS171)。
【0092】
そして、当該水平ラインjnが繰り返しパターンが存在すると判断された1本目の水平ラインである場合には(ステップS171;YES)、グループ化手段12は、当該水平ラインjnを1つのグループとしてメモリに登録することでグループ化して(ステップS172)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。
【0093】
また、当該水平ラインjnが、繰り返しパターンが存在すると判断された2本目以降の水平ラインである場合には(ステップS171;NO)、グループ化手段12は、続いて、当該水平ラインjnに最も近い位置jで見出され、パターン探索手段11によりフラグ「1」が付与されている水平ラインjと、当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjthより大きいか否かを判断する(ステップS173)。その際、所定の間隔Δjthは、例えば基準画像Tの縦方向の4画素幅に設定される。
【0094】
そして、水平ラインjと当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjth以下であると判断される場合には(ステップS173;NO)、グループ化手段12は、次のステップS175の判断処理を行わず、即座に当該水平ラインjnを水平ラインjが属するグループに統合し、メモリに登録してグループ化して(ステップS174)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。
【0095】
繰り返しパターンが存在すると判断された2本の水平ラインj、jnの基準画像T上での間隔Δjが近ければ(本実施形態の場合は基準画像Tの縦方向の4画素幅以内であれば)、それらの水平ラインj、jnは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインj、jnが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインj、jnをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。また、それとともに、下記のようにそれらの実空間上の距離方向(すなわちZ軸方向)の間隔Lzを算出するまでもなくそれらをグループ化することで、処理の高速化を図ることが可能となる。
【0096】
また、グループ化手段12は、水平ラインjと当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjthより大きくても(ステップS173;YES)、上記(4)式を用いて算出される2本の水平ラインj、jnの実空間上の距離方向の間隔Lzが所定の閾値Lzth以下であれば(ステップS175;NO)、当該水平ラインjnを水平ラインjが属するグループに統合し、メモリに登録してグループ化して(ステップS174)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。その際、所定の閾値Lzthは、例えば5mに設定される。
【0097】
繰り返しパターンが存在すると判断された2本の水平ラインj、jnの実空間上の距離方向の間隔Lzが近ければ(本実施形態の場合は5m以内であれば)、それらの水平ラインj、jnは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインj、jnが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインj、jnをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。
【0098】
そして、グループ化手段12は、これらの2本の水平ラインjがステップS173の判断処理とステップS175の判断処理との両方で条件を満たす場合にのみ(ステップS173およびステップS175;YES)、当該水平ラインjnを水平ラインjが属するグループに統合せず、別のグループとしてメモリに登録することでグループ化して(ステップS176)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。以上のようにして、グループ化手段12によるグループ化処理が行われる。
【0099】
前述したように、車線検出手段10は、パターン探索手段11が水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断した場合には(ステップS14;YES)、当該水平ラインjn上に検出した車線候補点crや車線終了点creの情報を棄却し、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0100】
また、車線検出手段10は、パターン探索手段11が水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、当該水平ラインjn上に検出した車線候補点crの情報を棄却せずに、車線候補点crの座標をハフ変換のためのハフ平面に投票する(ステップS7)。
【0101】
そして、左側の探索領域Sl(なお、この場合の探索領域Slの右端の探索開始点islは元の探索開始点isl_old(図16参照)である。)における車線候補点clの検出等(ステップS8〜S10)を実行し、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0102】
なお、上記のように、当該水平ラインjnでパターン探索手段11が繰り返しパターンの探索(ステップS12、S13)を行い、水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、車線検出手段10は、パターン探索手段11が行った左側の拡大された探索領域Slでの探索の結果を用いて、左側の探索領域Slにおける車線候補点clの検出等の処理(ステップS8〜S10)を実行するように構成することも可能である。
【0103】
また、パターン探索手段11が水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、少なくとも左側の探索領域Slについては、改めて車線候補点clの検出等の処理(ステップS8〜S10)をスキップして実行しないように構成することも可能である。
【0104】
車線検出手段10は、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理(必要に応じて行われるパターン探索手段11でのパターン探索処理を含む。)を繰り返して行い、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行ったと判断した場合には(ステップS11;YES)、上記のようにして(図5〜図9参照)、基準画像T上に車線LR、LLを検出する(図12のステップS18)。
【0105】
また、車線検出手段10は、前述したように、車線LR、LLの検出にあわせて、検出した左右の車線LR、LLの情報に基づいて実空間上における車線の三次元的な路面モデルすなわち水平形状モデル(図10(A)参照)および道路高モデル(図10(B)参照)を形成する(ステップS19)。
【0106】
車線検出手段10は、検出した車線LR、LLの情報および形成した路面モデルの情報をメモリに保存する。
【0107】
一方、グループ化手段12は、上記のようにグループ化した水平ラインjの各グループについて、各グループの最も手前側の位置までの距離Zを横断歩道までの距離Zcとして算出し、また、グループの実空間上の距離方向の幅Wzを横断歩道の幅Wczとして算出するようになっている。
【0108】
グループの最も手前側、すなわちグループの最下端の水平ラインjが、探索を開始した最初の水平ライン(すなわち本実施形態では基準画像Tの最下端の水平ラインj0)である場合には(ステップS20;YES)、後述するような特殊な処理が必要となるため、最初に、グループの最下端の水平ラインjが探索を開始した最初の水平ラインj0ではなく(ステップS20;NO)、図16に示したように、横断歩道が基準画像Tの中ほどに撮像される通常の場合について説明する。
【0109】
また、以下、図20に示すように、同一グループの最も手前側すなわちグループの最下端の水平ラインjを水平ラインjnearと表し、同一グループの最も奥側すなわちグループの最上端の水平ラインjを水平ラインjfarと表す。
【0110】
グループの最下端の水平ラインjnearが探索を開始した最初の水平ラインj0ではない場合(ステップS20;NO)、グループ化手段12は、水平ラインjnear上の画素であって、前述した視差dpが算出されている画素の視差dpを用い、上記(4)式に従って自車両から水平ラインjnearまでの実空間上の距離Znearを算出して、算出した距離Znearを横断歩道までの距離Zcとしてメモリに保存するようになっている(ステップS21)。
【0111】
グループ化手段12は、続いて、同一のグループの最上端の水平ラインjfarまでの実空間上の距離Zfarを上記と同様にして算出し(ステップS22)、グループの実空間上の距離方向の幅Wzを、
Wz=Zfar−Zc …(9)
の演算を行って算出し、算出した幅Wzを、今回のフレームで検出した横断歩道の幅Wczとするようになっている(ステップS23)。
【0112】
また、本実施形態では、グループ化手段12は、今回のフレームでグループ化したグループの位置(すなわち例えばグループの最下端の水平ラインjnearまでの距離Znear)が、前回のフレームでグループ化したグループの位置から、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて推測される今回のフレームでの位置と同じ、或いは許容される誤差範囲内で一致する場合には、今回のフレームでグループ化したグループを前回のフレームでグループ化したグループに対応付けて、フレームごとにグループを追跡するようになっている。
【0113】
また、本実施形態では、グループ化手段12は、このようにしてフレームごとに追跡したグループを検出したフレーム数をカウントし、カウント数が増加するほど当該グループの信頼度が高くなるように可変させて、当該グループに対する信頼度sを算出するようになっている(ステップS24)。
【0114】
なお、グループの信頼度sは、この他にも、例えば、対応付けた今回のフレームと前回のフレームの各グループにおいてパターン探索手段11が検出した繰り返しパターンにおける高輝度の画素部分の数が大きく変化した場合には信頼度sが小さくなるように可変させたり、或いは、対応付けた今回のフレームと前回のフレームの各グループに属する水平ラインjの数が大きく変化した場合には信頼度sが小さくなるように可変させるようにして、当該グループに対する信頼度sを算出するように構成することも可能である。
【0115】
その際、1つのグループ内においても、そのグループに属する各水平ラインjで検出された繰り返しパターンにおける高輝度の画素部分の数が各水平ラインjで異なる場合もある。そのような場合には、各水平ラインjで検出された高輝度の画素部分の数の平均値を当該グループにおける高輝度の画素部分の数としたり、或いは、1つのグループに属する各水平ラインjごとに高輝度の画素部分の数を例えばヒストグラムに投票してその最頻値や中央値を当該グループにおける高輝度の画素部分の数とすることが可能である。
【0116】
本実施形態では、グループ化手段12は、続いて、過去のフレームで算出した横断歩道の幅Wcz_oldと、今回のフレームで算出した横断歩道の幅Wcz_newとを、下記(10)式に従って重み付け平均して、横断歩道の幅の重み付け平均値Wcz_aveを算出して更新するようになっている(ステップS25)。
Wcz_ave={1−P(s)}×Wcz_old+P(s)×Wcz_new …(10)
【0117】
ここで、P(s)は、上記のように算出した信頼度sに基づいて、今回のフレームで検出した横断歩道の幅Wcz_newに対して決定される重み(すなわちsを変数とする重み関数)を表す。そして、重みP(s)は、今回のフレームで検出された当該グループに対する信頼度sが高いほど大きな値をとるように設定される。
【0118】
グループ化手段12は、上記のようにして算出したグループの信頼度sや横断歩道の幅の重み付け平均値Wcz_ave等をメモリに保存する。また、グループ化手段12は、必要に応じて、算出したグループの信頼度sや横断歩道の幅の重み付け平均値Wcz_ave、横断歩道までの距離Zc等の情報を、車線検出手段10が検出した車線LR、LLの情報や路面モデルの情報等とともに外部装置に出力する。
【0119】
一方、自車両が横断歩道に接近して、図21に示すように、横断歩道の手前側が基準画像Tからはみ出してしまい、基準画像Tに撮像されなくなると、図20に示したような横断歩道の最も手前側が検出できなくなる。このような場合には、上記のような手法では、横断歩道までの距離Zcが算出できなくなる。
【0120】
そこで、この場合には、グループ化手段12は、グループの最も奥側の位置までの距離Zすなわちグループの最上端の水平ラインjfarまでの距離Zfarを算出し、その距離Zfarから、過去のフレームで算出した横断歩道の幅Wcz(本実施形態では、上記のようにして算出した横断歩道の幅の重み付け平均値Wcz_ave)を減算することで、横断歩道までの距離Zcを算出するようになっている。
【0121】
具体的には、グループ化手段12は、基準画像Tが図21に示したように横断歩道の途中までしか撮像されていない画像であり、グループの最も手前側すなわちグループの最下端の水平ラインjが、探索を開始した最初の水平ライン(すなわち本実施形態では基準画像Tの最下端の水平ラインj0)である場合には(ステップS20;YES)、
【0122】
グループ化手段12は、続いて、グループの最上端の水平ラインjfarまでの実空間上の距離Zfarを上記と同様にして算出する(ステップS26)。そして、メモリから過去のフレームで算出されて更新されている横断歩道の幅の重み付け平均値Wcz_aveを読み出して、下記(11)式に従って横断歩道までの距離Zcを算出してメモリに保存するようになっている(ステップS27)。
Zc=Zfar−Wcz_ave …(11)
【0123】
また、グループ化手段12は、必要に応じて、上記のようにして算出した横断歩道までの距離Zcの情報を、車線検出手段10が検出した車線LR、LLの情報や路面モデルの情報等とともに外部装置に出力する。
【0124】
以上のように、本実施形態に係る道路認識装置1によれば、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインjごとに送信されてくる各画素の輝度pのデータに基づいて、車線検出手段10が車線候補点cr、clを検出し、その処理の中で、パターン探索手段11が必要に応じて水平ラインjの探索における探索領域Slを拡大して繰り返しパターンが存在するか否かを探索し、また、グループ化手段12が、繰り返しパターンが存在する各水平ラインjをグループ化する。
【0125】
また、パターン探索手段11は、車線検出手段10が検出した車線候補点crに対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインjの探索における探索領域Slを拡大して繰り返しパターンが存在するか否かを判断するため、横断歩道を全画面的に探索する必要がなくなる。
【0126】
そのため、本実施形態に係る道路認識装置1によれば、車両前方を撮像した画像(基準画像T)中から車線LR、LLや横断歩道をリアルタイムで検出することが可能となり、例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。
【0127】
また、グループ化手段12が、グループ化した水平ラインjのグループについて、グループの最も手前側の位置までの距離Znearを横断歩道までの距離Zcとして算出し、また、グループの実空間上の距離方向の幅Wz(=Zfar−Zc)を横断歩道の幅Wczとして算出することで、横断歩道までの距離Zcや横断歩道の距離方向の幅Wczを的確に検出することが可能となる。
【0128】
そのため、例えば、的確に検出された横断歩道までの距離Zcに基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。
【0129】
なお、本実施形態では、探索領域を拡大する手法として、左側の探索領域Slを拡大する場合について説明したが、右側の探索領域Srを拡大するように構成することも可能であり、左右の探索領域Sr、Slをともに拡大するように構成することも可能であり、或いは、拡大した探索領域を新たに設定するように構成することも可能である。
【0130】
また、本実施形態では、前述したように、横断歩道に対応するグループとして検出した水平ラインjのグループを、フレームごとに対応付けて追跡するようになっている。そのため、前回のフレームで検出した横断歩道に対応するグループの位置や、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームで当該グループが基準画像T上のどの位置に検出されるかを推測することができる。
【0131】
そこで、車線検出手段10は、前回のフレームで検出したグループの基準画像T中の位置と、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの基準画像T上の位置を推測し、推定した位置の水平ラインj上では車線候補点cr、clの検出を行わないように構成することが可能である。
【0132】
このように構成すれば、横断歩道が検出される可能性が高い水平ラインj上で、横断歩道の白線ブロックのエッジ部分を車線検出手段10が車線LR、LLのエッジ部分であると誤って判断して車線候補点cr、clを誤検出することを防止することが可能となり、車線LR、LLの検出の精度を向上させることが可能となる。
【符号の説明】
【0133】
1 道路認識装置
2 撮像手段
10 車線検出手段
11 パターン探索手段
12 グループ化手段
cr、cl 車線候補点
isl_new 探索開始点(一方の探索領域に隣接する画素)
j 水平ライン
LR、LL 車線
p 輝度
P(s) 重み
s 信頼度
Sr、Sl 探索領域
T 基準画像(画像)
Wcz 横断歩道の幅
Wcz_ave 横断歩道の幅の重み付け平均値
Wr-e 横幅
Wz グループの実空間上の距離方向の幅
Zc 横断歩道までの距離
Zfar グループの最も奥側の位置までの距離
Znear グループの最も手前側の位置までの距離
Δj 各水平ラインの画像上の間隔
Δp 輝度差
Δpth1 閾値
【技術分野】
【0001】
本発明は、道路認識装置に係り、特に、道路面上に標示された車線や横断歩道を検出することが可能な道路認識装置に関する。
【背景技術】
【0002】
近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のカメラやビデオカメラで撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状や道路標示等の認識を行う道路認識装置の開発が進められている。車両が走行している道路の形状等を認識するためには、自車両前方の道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等(以下、道路面上に標示された追い越し禁止線や区画線等を車線という。)の位置を検出することが重要となる。
【0003】
車線検出では、撮像画像の画素の輝度に着目し、車道と車線とで画素の輝度が大きく異なることを利用して輝度が大きく変わる画素部分をエッジとして抽出することで車線を検出するように構成されていることが多い(例えば特許文献1参照)。
【0004】
しかしながら、前記のようなカメラ情報に基づいた車線検出では、車線と似た輝度情報をもつ横断歩道等の道路標示を車線と誤検出してしまう可能性がある。つまり、車線の横幅の規格は10cm〜20cmに設定されているが、実際の道路面上には50cm程度の横幅の太い車線が標示されている場合があるため、車線検出において横幅の閾値を50cm程度くらいまで拡大して設定すると、太さが50cm程度の白線ブロックが繰り返し標示されている横断歩道まで車線として検出してしまう場合があった。また、検出する車線の横幅の閾値を20cm程度まで狭めると、50cm程度の広い横幅の車線を検出できなくなるという問題があった。
【0005】
そこで、特許文献2に記載の道路認識装置では、カメラ等の撮像手段で撮像された画像上に設定された所定の1本の水平ライン(エピポーララインともいう。)上の各画素の輝度の繰り返しパターンを検出し、それが道路面上にある場合に横断歩道として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−331389号公報
【特許文献2】特開2006−309313号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、特許文献2に記載の道路認識装置では、撮像された画像中に横断歩道が撮像されており、自車両の前方に横断歩道が存在することは高精度に検出できるが、その横断歩道が実際に自車両からどれほど離れた位置にあるかを追跡して検出することができない。そのため、例えば検出した横断歩道の手前で自車両を停止させようとしても、検出した横断歩道までの距離が分からないため、自車両を横断歩道の手前で停止させることができない。
【0008】
これを回避するために、例えば、特許文献2に記載された横断歩道を検出するための水平ラインの設定を1ライン分ではなく全画面的に行ったり、或いは例えば画像上での無限遠に対応する消失点の下方の全画像領域的に行ったりすると、確かに横断歩道が実際に自車両からどれほど離れた位置にあるか等を検出することは可能となるが、計算処理の負荷が非常に大きくなり、横断歩道のリアルタイムの検出、すなわち例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとの横断歩道の検出を実現することが困難になる。
【0009】
本発明は、前記事情に鑑みてなされたものであり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出可能で、かつ、横断歩道までの距離や横断歩道の距離方向の幅を検出可能な道路認識装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、道路認識装置において、
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする。
【0011】
第2の発明は、第1の発明の道路認識装置において、
前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする。
【0012】
第3の発明は、第1または第2の発明の道路認識装置において、前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする。
【0014】
第5の発明は、第1から第4のいずれかの発明の道路認識装置において、前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする。
【0015】
第6の発明は、第5の発明の道路認識装置において、前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする。
【0016】
第7の発明は、第6の発明の道路認識装置において、前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする。
【0017】
第8の発明は、第1から第7のいずれかの発明の道路認識装置において、
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする。
【発明の効果】
【0018】
第1の発明によれば、撮像手段から、撮像した画像の1画素幅の水平ラインごとに送信されてくる各画素の輝度のデータに基づいて、車線検出手段が車線候補点を検出し、その処理の中で、パターン探索手段が必要に応じて水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを探索し、グループ化手段が、繰り返しパターンが存在する各水平ラインをグループ化する。また、パターン探索手段は、車線検出手段が検出した車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインの探索における探索領域を拡大して繰り返しパターンが存在するか否かを判断する。
【0019】
そのため、横断歩道を全画面的に探索する必要がなくなり、車両前方を撮像した画像中から車線や横断歩道をリアルタイムで検出することが可能となるため、例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。
【0020】
また、グループ化手段が、グループ化した水平ラインのグループについて、グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、また、グループの実空間上の距離方向の幅を横断歩道の幅として算出することで、横断歩道までの距離や横断歩道の距離方向の幅を的確に検出することが可能となる。そのため、例えば、的確に検出された横断歩道までの距離に基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。
【0021】
第2の発明によれば、前記発明の効果に加え、パターン探索手段は、車線検出手段が車線候補点を探索するために設定した自車両の左右の探索領域を利用して、その一方側の探索領域を拡大して繰り返しパターンが存在するか否かを判断することが可能となるため、パターン探索のための探索領域の拡大を非常にスムーズかつ瞬時に行うことが可能となる。そのため、画像中からの横断歩道をリアルタイムで検出することが可能となり、前記発明の効果を的確に発揮することが可能となる。
【0022】
第3の発明によれば、繰り返しパターンが存在すると判断され、横断歩道が撮像されている可能性が高い水平ライン上で検出した車線候補点を棄却して、車線の検出の対象から除外することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。
【0023】
第4の発明によれば、例えば後述する図21に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、横断歩道に対応するグループの最も奥側の位置までの距離を算出し、その距離から、過去のフレームで算出した横断歩道の幅を減算することで、横断歩道までの距離を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0024】
第5の発明によれば、前記各発明の効果に加え、グループ化手段が横断歩道に対応するものとしてグループ化したグループに対して、グループを検出したフレームの数等に応じて、グループの信頼度を算出して当該グループに割り当てることで、検出したグループが横断歩道に対応するものである確からしさを明確にして数値化することが可能となる。
【0025】
第6の発明によれば、上記のグループの信頼度に基づいて、今回のフレームと過去のフレームでの当該グループの実空間上の距離方向の幅を重み付け平均して重み付け平均値を算出することで、前記各発明の効果に加え、検出されるグループの距離方向の幅が各フレームごとにばらついたとしても、安定的に算出される重み付け平均値を横断歩道の距離方向の幅として信頼して用いることが可能となる。
【0026】
第7の発明によれば、上記のように、安定的に算出され信頼性が高い状態で算出される重み付け平均値を横断歩道の距離方向の幅とみなすことができる。そして、例えば後述する図21に示すように、今回のフレームで横断歩道の手前側が画像からはみ出してしまい、画像に撮像されなくなると、横断歩道の手前側までの距離を直接的には算出できなくなるが、そのような場合でも、グループの最も奥側の位置までの距離から減算することで、自車両から横断歩道までの距離を的確にかつ信頼性が高い状態で算出することが可能となり、前記各発明の効果をより的確に発揮することが可能となる。
【0027】
第8の発明によれば、前回のフレームで検出したグループの画像中の位置や、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの画像上の位置を推測し、推定した位置の水平ライン上では車線候補点の検出を行わないように構成することで、前記各発明の効果に加え、横断歩道の白線ブロックのエッジ部分を車線のエッジ部分であると誤って判断して車線候補点を誤検出することを防止することが可能となり、車線の検出の精度を向上させることが可能となる。
【図面の簡単な説明】
【0028】
【図1】本実施形態に係る道路認識装置の構成を示すブロック図である。
【図2】基準画像の一例を表す図である。
【図3】水平ラインや探索領域、探索開始点、探索終了点等を説明する図である。
【図4】水平ライン上を探索して得られる各画素の輝度を表すグラフである。
【図5】図2の基準画像上に検出された車線候補点を表す図である。
【図6】ハフ変換処理の結果、抽出される直線を表す図である。
【図7】図6の各直線の中から車線にふさわしい直線として選択された直線を表す図である。
【図8】自車両に近い側に確定された直線を表す図である。
【図9】図2の基準画像上に検出された左右の車線を表す図である。
【図10】形成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルを表す。
【図11】車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。
【図12】車線候補点の検出処理、パターン探索処理およびグループ化処理の手順を示すフローチャートである。
【図13】グループ化手段におけるグループ化処理の手順を示すフローチャートである。
【図14】基準画像の一例を表す図である。
【図15】図14の基準画像上に設定された探索領域を表す図である。
【図16】横断歩道の最も手前側の位置の水平ラインを説明する図である。
【図17】図16の拡大図であり、左側の探索領域を右側の探索領域に隣接する画素まで拡大することを説明する図である。
【図18】図16の水平ライン上で検出される各画素の輝度の分布を示す図である。
【図19】繰り返しパターンを説明する図であり、(A)は横断歩道が理想的に検出された場合、(B)は白線ブロックの間隔がその幅の奇数倍になっている場合、(C)は横断歩道に対応する繰り返しパターンが存在しないと判断される場合を表す。
【図20】同一グループにおける最も手前側の水平ラインおよび最も奥側の水平ラインを説明する図である。
【図21】横断歩道の手前側が基準画像からはみ出し、基準画像に撮像されなくなった状態を表す図である。
【発明を実施するための形態】
【0029】
以下、本発明に係る道路認識装置の実施の形態について、図面を参照して説明する。
【0030】
なお、以下では、ステレオカメラを用いて一対の画像を撮像し、画像上の各画素について距離の情報を算出し、それに基づいて、一方の画像上から車線や横断歩道を検出する場合について説明するが、単眼のカメラを用いるように構成することも可能である。単眼のカメラを用いる場合については後で説明する。
【0031】
本実施形態に係る道路認識装置1は、図1に示すように、撮像手段2や画像処理手段6、検出手段9等で構成されている。なお、検出手段9より前側、すなわち撮像手段2から画像データメモリ5や画像処理手段6までの構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0032】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0033】
メインカメラ2aとサブカメラ2bは、道路面から同じ高さに取り付けられており、フレームごとに同時に車両の前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは前述した図2に例示される基準画像Tの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像の画像データを出力するようになっている。
【0034】
なお、その際、撮像手段2のメインカメラ2aやサブカメラ2bからは、撮像した基準画像Tや比較画像の各画素の輝度pのデータが、1画素幅の水平ラインごとに、かつ、下方の水平ラインから順に変換手段3に送信されるようになっている。
【0035】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255の256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に順次送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0036】
画像処理手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ7は、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックを設定し、基準画素ブロックに対応する比較画像中のエピポーラライン上の基準画素ブロックと同形の各比較画素ブロックについて下記(1)式に従ってSAD値を算出し、SAD値が最小の比較画素ブロックを特定するようになっている。
【0037】
【数1】
【0038】
なお、p1stは基準画素ブロック中の各画素の輝度を表し、p2stは比較画素ブロック中の各画素の輝度を表す。また、上記の総和は、基準画素ブロックや比較画素ブロックが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0039】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックについて、特定した比較画素ブロックの比較画像上の位置と当該基準画素ブロックの基準画像上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、このようにして算出した視差dp或いは下記(4)を式に従って算出される距離Zを基準画像Tの各基準画素ブロックにそれぞれ割り当てて図示を省略する距離画像Tzを形成するようになっている。
【0040】
なお、視差dpと距離Zとの関係は、以下のように1対1に対応付けられる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にZ軸をとり、左右方向および上下方向にそれぞれX軸およびY軸をとった場合の実空間上の点(X,Y,Z)と、上記の視差dpおよび基準画像T(或いは距離画像Tz)上の画素の座標(i,j)とは、三角測量の原理に基づいて、
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
で表される座標変換により1対1に対応付けることができる。
【0041】
ここで、上記各式において、CDは一対の撮像手段の間隔、PWは1画素当たりの視野角、CHは一対の撮像手段の取り付け高さ、IVおよびJVは正面の無限遠点の距離画像TZ上のi座標およびj座標、DPは消失点視差を表す。
【0042】
また、イメージプロセッサ7ではフィルタリング処理も行われ、基準画像Tの基準画素ブロックと比較画像の比較画素ブロックとの輝度パターンの類似性の度合いが低い場合には算出した視差dpを無効と出力するようになっており、イメージプロセッサ7は、有効とされた視差dpのみを距離データメモリ8に順次格納させるとともに、検出手段9に順次送信するようになっている。
【0043】
検出手段9は、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、検出手段9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、自車両の車速Vやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0044】
検出手段9は、車線検出手段10と、パターン探索手段11と、グループ化手段12とを備えており、さらに図示しないメモリを備えている。
【0045】
車線検出手段10は、自車両の前方を撮像した基準画像T上に車線を検出するようになっている。なお、車線検出手段10における車線検出処理の構成は、本願出願人により先に提出された前記特許文献1に詳述されており、詳細な説明はそれらの公報に委ねる。また、本実施形態では、車線検出手段10における車線検出処理の中で、後述する所定の条件が満たされた場合に、処理の主体がパターン探索手段11に移行するが、以下では、まず、車線検出手段10における車線検出処理について一通り説明する。
【0046】
車線検出手段10は、撮像手段2により撮像された基準画像Tおよび比較画像の一対の画像のうち、基準画像Tを対象とし、基準画像T上の水平ラインj上を探索して、互いに隣接する画素の輝度pの差Δpが所定の閾値Δpth1以上である画素であって、道路面の位置にある画素を車線候補点cr、clとして検出するようになっている。そして、この車線候補点cr、clの検出処理を、探索する水平ラインjを本実施形態では基準画像Tの上方向にシフトさせながら行い、検出した車線候補点cr、clをつなぎ合わせて今回のフレームの基準画像T上に車線LR、LLを検出するようになっている。
【0047】
なお、本実施形態では、前述したように、撮像手段2から、撮像した基準画像Tの各画素の輝度pのデータが、1画素幅の水平ラインjごとに、かつ、下方の水平ラインjから順に送信されてくるため、車線検出手段10は上記のように探索する水平ラインjを基準画像Tの上方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成されているが、例えば、撮像手段2から基準画像Tの各水平ラインjの各画素の輝度pのデータが上方の水平ラインjから順に送信されてくる場合には、探索する水平ラインjを基準画像Tの下方向にシフトさせながら車線候補点cr、clの検出処理を行うように構成することが可能である。
【0048】
具体的には、車線検出手段10は、本実施形態では、まず、前回のフレームで検出した右側の車線LRlastと左側の車線LLlastの基準画像T上での位置を、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて修正して、今回のフレームにおける基準画像T上での車線の各位置を推定する。そして、図3に示すように、推定した今回のフレームでの基準画像T上での車線の各位置を基準として、その左右方向に実空間上でそれぞれ所定距離離れた範囲を、各水平ラインj上で車線候補点cr、clを探索する探索領域Sr、Slとしてそれぞれ自車両の左右に設定するようになっている。
【0049】
そして、図3に示すように、撮像手段2から、撮像した基準画像Tのうち1画素幅の水平ラインjの各画素の輝度pが入力されてくると、本実施形態では、車線検出手段10は、まず、右側の探索領域Srにおける水平ラインj上を領域Srの左端の探索開始点isrから右方向に右端の探索終了点ierまで探索する。そして、図4に示すように、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された所定の閾値Δpth1以上となり輝度pが大きく変化する画素を車線候補点crとして検出するようになっている。
【0050】
また、本実施形態では、車線検出手段10は、車線候補点crを検出した後も水平ラインj上をさらに右方向に探索し、ある画素の輝度pとそれに隣接する画素の輝度pとの差Δpが予め設定された所定の閾値Δpth2以下となり輝度pが大きく減少する画素がある場合、その画素を車線終了点crとして検出するようになっている。また、車線検出手段10は、車線候補点crと車線終了点creとを検出するごとに、視差dpの情報等に基づいて車線候補点crと車線終了点creとの間の実空間上の距離すなわち横幅Wr-eを算出するようになっている。
【0051】
そして、車線検出手段10は、水平ラインj上における右側の探索領域Srでの探索を終了すると、続いて、同じ水平ラインj上における左側の探索領域Slでの探索を領域Slの右端の探索開始点islから左方向に左端の探索終了点ielまで探索して、上記と同様にして、車線候補点clや車線終了点cleを検出し、車線候補点clと車線終了点cleとの間の実空間上の距離すなわち横幅Wl-eを算出するようになっている。
【0052】
車線検出手段10は、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインjの各画素の輝度pが入力されてくるごとに、上記の処理を繰り返し、探索する水平ラインjを本実施形態では基準画像Tの上方向にシフトさせながら車線候補点cr、clや車線終了点cre、cleを検出するようになっている。
【0053】
このようにして検出された車線候補点cr、clを基準画像T上にプロットすると、図5に示すように、右側の車線付近の領域Aと左側の車線付近の領域Bにそれぞれ車線候補点cr、clがプロットされる。なお、図5や以下の各図では、右側と左側の車線候補点cr、clがそれぞれ十数点しか検出されないように記載されているが、実際には、通常、さらに多数の車線候補点cr、clが検出される。
【0054】
また、本実施形態では、車線検出手段10は、例えば右側の車線に対応する車線候補点crを検出するごとに、検出した車線候補点crの座標(i,j)を図示しないハフ平面に投票するようになっており、上記のように各水平ラインjでの車線候補点crの検出が終了すると、ハフ平面への投票結果に基づいてハフ変換処理を行って、右側の車線にふさわしい直線を抽出するようになっている。
【0055】
左側の車線に対応する車線候補点clについても同様にハフ変換処理を行うと、図5に示した結果から、例えば図6に示すように、右側の車線に対応する直線として直線r1、r2が、また、左側の車線に対応する直線として直線l1、l2がそれぞれ抽出される。そこで、車線検出手段10は、自車両の進行方向との平行度や左右の直線の平行度等の種々の条件を参酌して、図7に示すように、右側および左側の車線にふさわしい直線として直線r1、l1をそれぞれ選択するようになっている。
【0056】
そして、車線検出手段10は、自車両に近い側では、図8に示すように、選択した直線r1、l1の手前側の部分を車線にふさわしい直線として確定し、それより遠方の車線については、下側の車線候補点cr、clからのi軸方向およびj軸方向の各変位が所定範囲内にある車線候補点cr、clをそれぞれ追跡しながらつなぎ合わせていくことで、図9に示すように、基準画像T上に車線LR、LLをそれぞれ検出するようになっている。
【0057】
車線検出手段10は、このようにして検出した車線LR、LLの情報、車線LR、LL検出の基となった車線候補点cr、clの各座標、およびそれらに対応する車線終了点cre、cleの各座標等をそれぞれメモリに保存するようになっている。
【0058】
一方、本実施形態では、車線検出手段10は、このようにして検出した左右の車線LR、LLの情報に基づいて、実空間上における車線の三次元的な路面モデルを形成するようになっている。本実施形態では、車線検出手段10は、例えば図10(A)、(B)に示すように、検出した車線LL、LRを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。
【0059】
本実施形態では、各所定区間ごとの直線式を、下記(5)、(6)式で表され図10(A)に示されるZ−X平面上の路面モデルである水平形状モデルと、下記(7)、(8)式で表され図10(B)に左車線LLが代表して示されるZ−Y平面上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報はメモリに保存される。
【0060】
[水平形状モデル]
左車線LL x=aL・z+bL …(5)
右車線LR x=aR・z+bR …(6)
[道路高モデル]
左車線LL y=cL・z+dL …(7)
右車線LR y=cR・z+dR …(8)
【0061】
なお、本実施形態では、上記のように車線検出手段10で自車両前方等の路面の形状を検出するようになっているが、必ずしも路面の形状を検出する必要はなく、例えば自車両前方等の路面の形状を平面として近似して以下の処理を行うように構成することも可能である。また、上記のモデルは、例えば、次回のフレームにおいて、前述したように、輝度pが隣接する画素の輝度pとの差Δpが所定の閾値Δpth1以上である画素が道路面の位置にあるか否かの判断に用いられる。
【0062】
パターン探索手段11(図1参照)は、上記のようにして車線検出手段10が算出した車線候補点cr、clに対応する車線の横幅Wr-e、Wl-eが横断歩道の横幅に相当する横幅であった場合には、当該車線候補点cr、clが検出された水平ラインjの探索における探索領域Srや探索領域Slを拡大して、当該水平ラインj上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている。
【0063】
また、グループ化手段12は、上記のようにしてパターン探索手段11が検出した繰り返しパターンが存在する水平ラインjが複数存在する場合に、これらの複数の水平ラインjの基準画像T上の間隔や実空間上の距離方向(すなわちZ軸方向)の間隔に基づいて、複数の水平ラインjが同一の横断歩道が撮像された水平ラインか否かを判断し、同一の横断歩道が撮像されたものと判断した複数の水平ラインjをグループ化するとともに、グループ化した複数の水平ラインjの最も手前側の位置までの距離および横断歩道の実空間上の距離方向の幅を算出するようになっている。
【0064】
以下、パターン探索手段11におけるパターン探索処理およびグループ化手段12におけるグループ化処理について、前述した車線検出手段10における車線候補点cr、clの検出処理とあわせて図11〜図13に示すフローチャートに従って説明する。また、それとともに、本実施形態に係る道路認識装置1の作用について説明する。
【0065】
前述したように、車線検出手段10は、今回のフレームで撮像される基準画像Tが図14に示すような画像である場合、まず、前回のフレームで検出した左右の車線LRlast、LLlastとフレーム間の自車両の挙動に基づいて、図15に示すように、今回のフレームでの基準画像T上に、各水平ラインj上で車線候補点cr、clを探索する探索領域Sr、Slをそれぞれ設定する(ステップS1)。
【0066】
そして、撮像手段2から最初に入力される基準画像Tの水平ラインj0上を右側の領域Srの左端の探索開始点isrから右方向に探索し(ステップS2)、隣接する画素の輝度pとの差Δpが閾値Δpth1以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点crとして検出する(ステップS3;YES)。
【0067】
なお、以下では、基準画像Tの最下端の水平ラインj0から探索を開始することを前提に説明するが、必ずしも基準画像Tの最下端の水平ラインj0から探索を開始する必要はなく、適宜の水平ラインjから探索を開始するように構成することが可能である。また、右側の探索領域Srで車線候補点crが検出されない場合には(ステップS3;NO)、左側の探索領域Slでの探索に移行する(ステップS8)。
【0068】
車線検出手段10は、車線候補点crを検出した場合に(ステップS3;YES)、その水平ラインj0のさらに右側に車線終了点crを検出した場合には(ステップS4;YES)、車線候補点crと車線終了点creとの間の実空間上の横幅Wr-eを算出する(ステップS5)。そして、算出した車線候補点crと車線終了点creとの横幅Wr-eが、予め設定された所定の横幅閾値Wth以上か否かを判断する(ステップS6)。
【0069】
ここで、算出した車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上である場合には(ステップS6;YES)、検出した車線候補点crは、追い越し禁止線や区画線等の車線ではなく、横断歩道のゼブラパターンを構成する各白線ブロックのうちの1つである可能性があるため、この水平ラインj0での処理が、車線検出手段10による車線候補点cr、clの検出処理から、後述するパターン探索手段11によるパターン探索処理に移行する。なお、この横幅閾値Wthは例えば30cmに設定される。
【0070】
また、算出した車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth未満であれば(ステップS6;NO)、車線検出手段10は、検出した車線候補点crの座標をハフ変換のためのハフ平面に投票する(ステップS7)。
【0071】
続いて、車線検出手段10は、今度は、水平ラインj0における左側の探索領域Slでの探索に移行し、水平ラインj0上を左側の領域Slの右端の探索開始点islから左方向に探索し(ステップS8)、隣接する画素の輝度pとの差Δpが閾値Δpth1以上となり、道路面の位置にある画素を検出すると、その画素を車線候補点clとして検出する(ステップS9;YES)。
【0072】
そして、検出した車線候補点clの座標をハフ変換のためのハフ平面に投票する(ステップS10)。車線候補点clが検出されなければ(ステップS9;NO)、ステップS10の処理はスキップされる。車線検出手段10は、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0073】
一方、前述したように、車線検出手段10により算出された車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上である場合には(ステップS6;YES)、当該水平ラインjmでの処理が、車線検出手段10による車線候補点cr、clの検出処理から、パターン探索手段11によるパターン探索処理に移行する。
【0074】
例えば、図16に示すように、横断歩道の最も手前側の位置の水平ラインjn上で探索を行う際には、車線検出手段10により算出された車線候補点crと車線終了点creとの横幅Wr-eは横幅閾値Wth以上になる(ステップS6;YES。図17の拡大図参照)。このような場合には、車線検出手段10による車線候補点cr、clの検出処理を一時中断し、図11のステップS12以降のパターン探索手段11によるパターン探索処理に移行する。
【0075】
なお、右側の探索領域Srで、車線候補点crと車線終了点creとの横幅Wr-eが横幅閾値Wth以上(ステップS6;YES)であるような車線候補点crが検出された場合に、車線終了点creのさらに右側に探索領域Srを拡大して、水平ラインjn上に高輝度の画素部分と低輝度の画素部分とが繰り返される繰り返しパターンが現れるか否かを判断するように構成することも可能である。
【0076】
また、図11のステップS12以降のパターン探索手段11によるパターン探索処理に移行すると、図11のフローチャートからも分かるように、車線検出手段10が検出した車線候補点crの情報は、パターン探索手段11が当該水平ラインjn上に後述する繰り返しパターンが存在すると判断した場合(ステップS14;YES)には、ハフ平面への投票の対象にならず、車線終了点creの情報とともに棄却される。
【0077】
このように、本実施形態では、車線検出手段10は、パターン探索手段11により水平ラインjn上に繰り返しパターンが存在すると判断された場合には(ステップS14;YES)、当該水平ラインjn上で検出した車線候補点crを棄却して、車線LRの検出の対象から除外するようになっている。また、繰り返しパターンが存在すると判断された水平ラインjnでは、左側の車線候補点clや車線終了点cleの探索(ステップS8〜S10)も行われない。
【0078】
パターン探索処理では、パターン探索手段11は、まず、当該水平ラインjnの探索における探索領域を拡大するようになっている(ステップS12)。その際、この段階では、上記のように右側の探索領域Srにおける探索は終了しているため、本実施形態では、パターン探索手段11は、図17に示すように、左側の探索領域Slを右側の探索領域Srに隣接する画素まで拡大する。
【0079】
すなわち、パターン探索手段11は、左側の探索領域Slの右端の探索開始点islを、最初に設定した探索領域Slの探索開始点isl_oldから右側の探索領域Srの左端の探索開始点isrの左側に隣接する画素位置まで移動させて探索開始点isl_newとし、その探索開始点isl_newから左方向に探索するように左側の探索領域Slを拡大するようになっている。
【0080】
そして、パターン探索手段11は、水平ラインjn上を探索開始点isl_newから左方向に探索しながら各画素の輝度pを読み取り(ステップS13)、当該水平ラインjn上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するようになっている(ステップS14)。
【0081】
本実施形態では、パターン探索手段11は、以下の各条件を満たす場合に繰り返しパターンが存在すると判断するようになっている。なお、水平ラインjn上に高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在する場合、各画素の輝度pは例えば図18に示すような分布になる。
【0082】
条件1:水平ラインjn上の画素中に、左側に隣接する画素との輝度pの差分Δpが正の閾値Δpth3以上である画素が存在すること。以下、この画素を開始画素といい、開始画素に対応する実空間上の点を開始点という。
条件2:開始点が道路面上にあること。
条件3:水平ラインjn上の画素中に、左側に隣接する画素との輝度pの差分Δpが負の閾値Δpth4以下である画素が存在すること。以下、この画素を終了画素といい、終了画素に対応する実空間上の点を終了点という。
【0083】
条件4:開始点と終了点との間隔が所定の範囲内であり、かつ、開始画素から終了画素までの各画素の輝度pの平均値paveが白線輝度判定閾値pave-th以上である高輝度の画素部分が存在すること。
条件5:隣接する高輝度の画素部分の間隔が高輝度の画素部分の幅と等しいか、または高輝度の画素部分の幅の奇数倍であること。
条件6:高輝度の画素部分が3箇所以上存在すること。
【0084】
条件1での開始画素における輝度pの差分Δpの制限は、車道のアスファルトと横断歩道の白線ブロックとの境界には、通常、輝度特性に強いエッジ強度が現れることによる。条件2は、条件1をクリアする画素であっても、例えば、その画素がガードレールや電信柱、先行車両のピラーやバンパ等である場合には開始画素から排除することを目的とするものである。
【0085】
条件3および条件4は、横断歩道の白線ブロックの開始点とは反対側の端部である終了点を見出し、開始点と終了点の間隔および両者間に存する画素の輝度が横断歩道の白線ブロックとして適切であるか否かを判断するためのものである。横断歩道の白線ブロックの幅の規格は45〜50cm程度とされており、車線の規格10〜20cmより広い。そのため、例えば、誤差等を含めて開始点と終了点との間隔が実空間上で25〜70cmの範囲内であれば、横断歩道の白線ブロックであると判別することができる。
【0086】
条件5および条件6は、以上のようにして認識された画素ごとの輝度の繰り返しパターンが横断歩道の白線ブロックのように一定の間隔をおいて繰り返し検出されるか否かを判断するためのものである。横断歩道は、図19(A)に示されるように理想的には白線ブロックが白線ブロックと同じ幅分の間隔を置いて繰り返し標示されるものであるが、図19(B)に示されるように自動車のタイヤ痕等で一部の白線ブロックが白線ブロックと認識されない場合もある。しかし、その場合でも、検出された白線ブロック同士の間隔は白線ブロックの幅の奇数倍の間隔になるはずである。
【0087】
そのため、本実施形態では、パターン探索手段11は、前記条件4までで検出された高輝度の画素部分の開始点と終了点との実空間上の距離を算出し、高輝度の画素部分の間隔がその距離に等しいか、或いは高輝度の画素部分の幅の奇数倍であり、このような高輝度の画素部分が3回以上繰り返されている場合に、当該水平ラインjn上に、横断歩道に対応する繰り返しパターンが存在すると判断するようになっている(ステップS14;YES)。
【0088】
そのため、図19(C)に示されるように、高輝度の画素部分、すなわち、白線ブロックと見なし得る部分が同じ幅であっても、その間隔が上記条件を満たさない場合には横断歩道とは見なされず、このような場合、パターン探索手段11は、横断歩道に対応する繰り返しパターンが存在しないと判断するようになっている(ステップS14;NO)。
【0089】
パターン探索手段11は、当該水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断すると(ステップS14;YES)、当該水平ラインjnに対してフラグ「1」を付与してフラグを立てるとともに(ステップS15)、高輝度の画素部分の数すなわち横断歩道の白線ブロックの数を、当該水平ラインjnに対応付けてメモリに保存するようになっている(ステップS16)。図18の場合は、高輝度の画素部分の数は、右側の探索領域Srで検出された1個を含めて5個となる。
【0090】
そして、パターン探索手段11により、上記のように当該水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断されて(ステップS14;YES)、ステップS15、S16の各処理が行われると、続いて、グループ化手段12によりグループ化処理が行われるようになっている(ステップS17)。
【0091】
グループ化処理では、図13のフローチャートに示されるように、グループ化手段12は、まず、上記のようにしてパターン探索手段11が検出した繰り返しパターンが存在する水平ラインjが複数存在するか否かを判断するようになっている。すなわち、グループ化手段12は、当該水平ラインjnが、繰り返しパターンが存在すると判断された1本目の水平ラインであるか否かを判断する(ステップS171)。
【0092】
そして、当該水平ラインjnが繰り返しパターンが存在すると判断された1本目の水平ラインである場合には(ステップS171;YES)、グループ化手段12は、当該水平ラインjnを1つのグループとしてメモリに登録することでグループ化して(ステップS172)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。
【0093】
また、当該水平ラインjnが、繰り返しパターンが存在すると判断された2本目以降の水平ラインである場合には(ステップS171;NO)、グループ化手段12は、続いて、当該水平ラインjnに最も近い位置jで見出され、パターン探索手段11によりフラグ「1」が付与されている水平ラインjと、当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjthより大きいか否かを判断する(ステップS173)。その際、所定の間隔Δjthは、例えば基準画像Tの縦方向の4画素幅に設定される。
【0094】
そして、水平ラインjと当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjth以下であると判断される場合には(ステップS173;NO)、グループ化手段12は、次のステップS175の判断処理を行わず、即座に当該水平ラインjnを水平ラインjが属するグループに統合し、メモリに登録してグループ化して(ステップS174)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。
【0095】
繰り返しパターンが存在すると判断された2本の水平ラインj、jnの基準画像T上での間隔Δjが近ければ(本実施形態の場合は基準画像Tの縦方向の4画素幅以内であれば)、それらの水平ラインj、jnは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインj、jnが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインj、jnをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。また、それとともに、下記のようにそれらの実空間上の距離方向(すなわちZ軸方向)の間隔Lzを算出するまでもなくそれらをグループ化することで、処理の高速化を図ることが可能となる。
【0096】
また、グループ化手段12は、水平ラインjと当該水平ラインjnとの基準画像T上の間隔Δjが所定の間隔Δjthより大きくても(ステップS173;YES)、上記(4)式を用いて算出される2本の水平ラインj、jnの実空間上の距離方向の間隔Lzが所定の閾値Lzth以下であれば(ステップS175;NO)、当該水平ラインjnを水平ラインjが属するグループに統合し、メモリに登録してグループ化して(ステップS174)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。その際、所定の閾値Lzthは、例えば5mに設定される。
【0097】
繰り返しパターンが存在すると判断された2本の水平ラインj、jnの実空間上の距離方向の間隔Lzが近ければ(本実施形態の場合は5m以内であれば)、それらの水平ラインj、jnは同一の横断歩道が撮像された水平ラインである可能性が高い。そのため、そのような場合に、上記のように、水平ラインj、jnが同一の横断歩道が撮像された水平ラインであると判断してそれらの水平ラインj、jnをグループ化するように構成することで、横断歩道を的確に検出することが可能となる。
【0098】
そして、グループ化手段12は、これらの2本の水平ラインjがステップS173の判断処理とステップS175の判断処理との両方で条件を満たす場合にのみ(ステップS173およびステップS175;YES)、当該水平ラインjnを水平ラインjが属するグループに統合せず、別のグループとしてメモリに登録することでグループ化して(ステップS176)、このグループ化処理ルーチンを終了し、図11のフローチャートの処理に戻る。以上のようにして、グループ化手段12によるグループ化処理が行われる。
【0099】
前述したように、車線検出手段10は、パターン探索手段11が水平ラインjn上に横断歩道に対応する繰り返しパターンが存在すると判断した場合には(ステップS14;YES)、当該水平ラインjn上に検出した車線候補点crや車線終了点creの情報を棄却し、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0100】
また、車線検出手段10は、パターン探索手段11が水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、当該水平ラインjn上に検出した車線候補点crの情報を棄却せずに、車線候補点crの座標をハフ変換のためのハフ平面に投票する(ステップS7)。
【0101】
そして、左側の探索領域Sl(なお、この場合の探索領域Slの右端の探索開始点islは元の探索開始点isl_old(図16参照)である。)における車線候補点clの検出等(ステップS8〜S10)を実行し、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行っていなければ(ステップS11;NO)、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理を繰り返す。
【0102】
なお、上記のように、当該水平ラインjnでパターン探索手段11が繰り返しパターンの探索(ステップS12、S13)を行い、水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、車線検出手段10は、パターン探索手段11が行った左側の拡大された探索領域Slでの探索の結果を用いて、左側の探索領域Slにおける車線候補点clの検出等の処理(ステップS8〜S10)を実行するように構成することも可能である。
【0103】
また、パターン探索手段11が水平ラインjn上に繰り返しパターンが存在しないと判断した場合には(ステップS14;NO)、少なくとも左側の探索領域Slについては、改めて車線候補点clの検出等の処理(ステップS8〜S10)をスキップして実行しないように構成することも可能である。
【0104】
車線検出手段10は、探索する水平ラインjを基準画像Tの上方向にシフトさせながらステップS2以降の処理(必要に応じて行われるパターン探索手段11でのパターン探索処理を含む。)を繰り返して行い、撮像手段2から送信されてきた基準画像Tの最後の水平ラインjまで処理を行ったと判断した場合には(ステップS11;YES)、上記のようにして(図5〜図9参照)、基準画像T上に車線LR、LLを検出する(図12のステップS18)。
【0105】
また、車線検出手段10は、前述したように、車線LR、LLの検出にあわせて、検出した左右の車線LR、LLの情報に基づいて実空間上における車線の三次元的な路面モデルすなわち水平形状モデル(図10(A)参照)および道路高モデル(図10(B)参照)を形成する(ステップS19)。
【0106】
車線検出手段10は、検出した車線LR、LLの情報および形成した路面モデルの情報をメモリに保存する。
【0107】
一方、グループ化手段12は、上記のようにグループ化した水平ラインjの各グループについて、各グループの最も手前側の位置までの距離Zを横断歩道までの距離Zcとして算出し、また、グループの実空間上の距離方向の幅Wzを横断歩道の幅Wczとして算出するようになっている。
【0108】
グループの最も手前側、すなわちグループの最下端の水平ラインjが、探索を開始した最初の水平ライン(すなわち本実施形態では基準画像Tの最下端の水平ラインj0)である場合には(ステップS20;YES)、後述するような特殊な処理が必要となるため、最初に、グループの最下端の水平ラインjが探索を開始した最初の水平ラインj0ではなく(ステップS20;NO)、図16に示したように、横断歩道が基準画像Tの中ほどに撮像される通常の場合について説明する。
【0109】
また、以下、図20に示すように、同一グループの最も手前側すなわちグループの最下端の水平ラインjを水平ラインjnearと表し、同一グループの最も奥側すなわちグループの最上端の水平ラインjを水平ラインjfarと表す。
【0110】
グループの最下端の水平ラインjnearが探索を開始した最初の水平ラインj0ではない場合(ステップS20;NO)、グループ化手段12は、水平ラインjnear上の画素であって、前述した視差dpが算出されている画素の視差dpを用い、上記(4)式に従って自車両から水平ラインjnearまでの実空間上の距離Znearを算出して、算出した距離Znearを横断歩道までの距離Zcとしてメモリに保存するようになっている(ステップS21)。
【0111】
グループ化手段12は、続いて、同一のグループの最上端の水平ラインjfarまでの実空間上の距離Zfarを上記と同様にして算出し(ステップS22)、グループの実空間上の距離方向の幅Wzを、
Wz=Zfar−Zc …(9)
の演算を行って算出し、算出した幅Wzを、今回のフレームで検出した横断歩道の幅Wczとするようになっている(ステップS23)。
【0112】
また、本実施形態では、グループ化手段12は、今回のフレームでグループ化したグループの位置(すなわち例えばグループの最下端の水平ラインjnearまでの距離Znear)が、前回のフレームでグループ化したグループの位置から、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて推測される今回のフレームでの位置と同じ、或いは許容される誤差範囲内で一致する場合には、今回のフレームでグループ化したグループを前回のフレームでグループ化したグループに対応付けて、フレームごとにグループを追跡するようになっている。
【0113】
また、本実施形態では、グループ化手段12は、このようにしてフレームごとに追跡したグループを検出したフレーム数をカウントし、カウント数が増加するほど当該グループの信頼度が高くなるように可変させて、当該グループに対する信頼度sを算出するようになっている(ステップS24)。
【0114】
なお、グループの信頼度sは、この他にも、例えば、対応付けた今回のフレームと前回のフレームの各グループにおいてパターン探索手段11が検出した繰り返しパターンにおける高輝度の画素部分の数が大きく変化した場合には信頼度sが小さくなるように可変させたり、或いは、対応付けた今回のフレームと前回のフレームの各グループに属する水平ラインjの数が大きく変化した場合には信頼度sが小さくなるように可変させるようにして、当該グループに対する信頼度sを算出するように構成することも可能である。
【0115】
その際、1つのグループ内においても、そのグループに属する各水平ラインjで検出された繰り返しパターンにおける高輝度の画素部分の数が各水平ラインjで異なる場合もある。そのような場合には、各水平ラインjで検出された高輝度の画素部分の数の平均値を当該グループにおける高輝度の画素部分の数としたり、或いは、1つのグループに属する各水平ラインjごとに高輝度の画素部分の数を例えばヒストグラムに投票してその最頻値や中央値を当該グループにおける高輝度の画素部分の数とすることが可能である。
【0116】
本実施形態では、グループ化手段12は、続いて、過去のフレームで算出した横断歩道の幅Wcz_oldと、今回のフレームで算出した横断歩道の幅Wcz_newとを、下記(10)式に従って重み付け平均して、横断歩道の幅の重み付け平均値Wcz_aveを算出して更新するようになっている(ステップS25)。
Wcz_ave={1−P(s)}×Wcz_old+P(s)×Wcz_new …(10)
【0117】
ここで、P(s)は、上記のように算出した信頼度sに基づいて、今回のフレームで検出した横断歩道の幅Wcz_newに対して決定される重み(すなわちsを変数とする重み関数)を表す。そして、重みP(s)は、今回のフレームで検出された当該グループに対する信頼度sが高いほど大きな値をとるように設定される。
【0118】
グループ化手段12は、上記のようにして算出したグループの信頼度sや横断歩道の幅の重み付け平均値Wcz_ave等をメモリに保存する。また、グループ化手段12は、必要に応じて、算出したグループの信頼度sや横断歩道の幅の重み付け平均値Wcz_ave、横断歩道までの距離Zc等の情報を、車線検出手段10が検出した車線LR、LLの情報や路面モデルの情報等とともに外部装置に出力する。
【0119】
一方、自車両が横断歩道に接近して、図21に示すように、横断歩道の手前側が基準画像Tからはみ出してしまい、基準画像Tに撮像されなくなると、図20に示したような横断歩道の最も手前側が検出できなくなる。このような場合には、上記のような手法では、横断歩道までの距離Zcが算出できなくなる。
【0120】
そこで、この場合には、グループ化手段12は、グループの最も奥側の位置までの距離Zすなわちグループの最上端の水平ラインjfarまでの距離Zfarを算出し、その距離Zfarから、過去のフレームで算出した横断歩道の幅Wcz(本実施形態では、上記のようにして算出した横断歩道の幅の重み付け平均値Wcz_ave)を減算することで、横断歩道までの距離Zcを算出するようになっている。
【0121】
具体的には、グループ化手段12は、基準画像Tが図21に示したように横断歩道の途中までしか撮像されていない画像であり、グループの最も手前側すなわちグループの最下端の水平ラインjが、探索を開始した最初の水平ライン(すなわち本実施形態では基準画像Tの最下端の水平ラインj0)である場合には(ステップS20;YES)、
【0122】
グループ化手段12は、続いて、グループの最上端の水平ラインjfarまでの実空間上の距離Zfarを上記と同様にして算出する(ステップS26)。そして、メモリから過去のフレームで算出されて更新されている横断歩道の幅の重み付け平均値Wcz_aveを読み出して、下記(11)式に従って横断歩道までの距離Zcを算出してメモリに保存するようになっている(ステップS27)。
Zc=Zfar−Wcz_ave …(11)
【0123】
また、グループ化手段12は、必要に応じて、上記のようにして算出した横断歩道までの距離Zcの情報を、車線検出手段10が検出した車線LR、LLの情報や路面モデルの情報等とともに外部装置に出力する。
【0124】
以上のように、本実施形態に係る道路認識装置1によれば、撮像手段2から、撮像した基準画像Tの1画素幅の水平ラインjごとに送信されてくる各画素の輝度pのデータに基づいて、車線検出手段10が車線候補点cr、clを検出し、その処理の中で、パターン探索手段11が必要に応じて水平ラインjの探索における探索領域Slを拡大して繰り返しパターンが存在するか否かを探索し、また、グループ化手段12が、繰り返しパターンが存在する各水平ラインjをグループ化する。
【0125】
また、パターン探索手段11は、車線検出手段10が検出した車線候補点crに対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合にのみ、水平ラインjの探索における探索領域Slを拡大して繰り返しパターンが存在するか否かを判断するため、横断歩道を全画面的に探索する必要がなくなる。
【0126】
そのため、本実施形態に係る道路認識装置1によれば、車両前方を撮像した画像(基準画像T)中から車線LR、LLや横断歩道をリアルタイムで検出することが可能となり、例えば1/30秒ごとに撮像手段から送信されてくる各フレームごとに横断歩道を検出することが可能となる。
【0127】
また、グループ化手段12が、グループ化した水平ラインjのグループについて、グループの最も手前側の位置までの距離Znearを横断歩道までの距離Zcとして算出し、また、グループの実空間上の距離方向の幅Wz(=Zfar−Zc)を横断歩道の幅Wczとして算出することで、横断歩道までの距離Zcや横断歩道の距離方向の幅Wczを的確に検出することが可能となる。
【0128】
そのため、例えば、的確に検出された横断歩道までの距離Zcに基づいて、自車両を横断歩道の手前で的確に停止させることが可能となる。
【0129】
なお、本実施形態では、探索領域を拡大する手法として、左側の探索領域Slを拡大する場合について説明したが、右側の探索領域Srを拡大するように構成することも可能であり、左右の探索領域Sr、Slをともに拡大するように構成することも可能であり、或いは、拡大した探索領域を新たに設定するように構成することも可能である。
【0130】
また、本実施形態では、前述したように、横断歩道に対応するグループとして検出した水平ラインjのグループを、フレームごとに対応付けて追跡するようになっている。そのため、前回のフレームで検出した横断歩道に対応するグループの位置や、センサ類Qから送信されてくる自車両の車速Vやヨーレートγ等から算出される前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームで当該グループが基準画像T上のどの位置に検出されるかを推測することができる。
【0131】
そこで、車線検出手段10は、前回のフレームで検出したグループの基準画像T中の位置と、前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの基準画像T上の位置を推測し、推定した位置の水平ラインj上では車線候補点cr、clの検出を行わないように構成することが可能である。
【0132】
このように構成すれば、横断歩道が検出される可能性が高い水平ラインj上で、横断歩道の白線ブロックのエッジ部分を車線検出手段10が車線LR、LLのエッジ部分であると誤って判断して車線候補点cr、clを誤検出することを防止することが可能となり、車線LR、LLの検出の精度を向上させることが可能となる。
【符号の説明】
【0133】
1 道路認識装置
2 撮像手段
10 車線検出手段
11 パターン探索手段
12 グループ化手段
cr、cl 車線候補点
isl_new 探索開始点(一方の探索領域に隣接する画素)
j 水平ライン
LR、LL 車線
p 輝度
P(s) 重み
s 信頼度
Sr、Sl 探索領域
T 基準画像(画像)
Wcz 横断歩道の幅
Wcz_ave 横断歩道の幅の重み付け平均値
Wr-e 横幅
Wz グループの実空間上の距離方向の幅
Zc 横断歩道までの距離
Zfar グループの最も奥側の位置までの距離
Znear グループの最も手前側の位置までの距離
Δj 各水平ラインの画像上の間隔
Δp 輝度差
Δpth1 閾値
【特許請求の範囲】
【請求項1】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする道路認識装置。
【請求項2】
前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする請求項1に記載の道路認識装置。
【請求項3】
前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする請求項1または請求項2に記載の道路認識装置。
【請求項4】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項1から請求項3のいずれか一項に記載の道路認識装置。
【請求項5】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする請求項1から請求項4のいずれか一項に記載の道路認識装置。
【請求項6】
前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする請求項5に記載の道路認識装置。
【請求項7】
前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項6に記載の道路認識装置。
【請求項8】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする請求項1から請求項7のいずれか一項に記載の道路認識装置。
【請求項1】
自車両の前方を撮像して画像を取得する撮像手段と、
前記画像上の水平ライン上を探索して、互いに隣接する画素の輝度差が所定の閾値以上である画素を車線候補点として検出し、探索する前記水平ラインを前記画像の上下方向にずらしながら前記車線候補点を検出し、検出した前記車線候補点をつなぎ合わせて前記画像上に車線を検出する車線検出手段と、
前記車線検出手段が検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、当該車線候補点が検出された前記水平ラインの探索における探索領域を拡大し、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断するパターン探索手段と、
前記繰り返しパターンが存在する前記各水平ラインを、前記各水平ラインの前記画像上の間隔または実空間上の距離方向の幅に基づいてグループ化するグループ化手段と、
を備え、
前記グループ化手段は、前記グループ化した前記水平ラインのグループについて、前記グループの最も手前側の位置までの距離を横断歩道までの距離として算出し、前記グループの実空間上の距離方向の幅を前記横断歩道の幅として算出することを特徴とする道路認識装置。
【請求項2】
前記車線検出手段は、前回のフレームで検出した前記車線の情報および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおいて前記水平ライン上で前記車線候補点を探索する探索領域を自車両の左右に設定し、
前記パターン探索手段は、前記車線検出手段が前記水平ライン上の一方の前記探索領域中に検出した前記車線候補点に対応する車線の横幅が横断歩道の横幅に相当する横幅であった場合には、前記水平ライン上の他方の前記探索領域を前記一方の探索領域に隣接する画素まで拡大して、当該水平ライン上で高輝度の画素部分と低輝度の画素部分とが繰り返し現れる繰り返しパターンが存在するか否かを判断することを特徴とする請求項1に記載の道路認識装置。
【請求項3】
前記車線検出手段は、前記パターン探索手段により前記水平ライン上に前記繰り返しパターンが存在すると判断された場合には、当該水平ライン上で検出した前記車線候補点を棄却して、前記車線の検出の対象から除外することを特徴とする請求項1または請求項2に記載の道路認識装置。
【請求項4】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、今回のフレームでグループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項1から請求項3のいずれか一項に記載の道路認識装置。
【請求項5】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、対応付けた前記グループを検出したフレームの数、前記パターン探索手段が検出した前記繰り返しパターンにおける前記高輝度の画素部分の数、または前記グループに属する前記水平ラインの数に応じて、当該グループの信頼度を算出することを特徴とする請求項1から請求項4のいずれか一項に記載の道路認識装置。
【請求項6】
前記グループ化手段は、算出した前記信頼度に基づいて、今回のフレームでグループ化した前記グループの実空間上の距離方向の幅として算出した前記横断歩道の幅に対する重みを決定し、当該重みを用いて、過去のフレームで算出した前記横断歩道の幅と今回のフレームで算出した前記横断歩道の幅とを重み付け平均して、前記横断歩道の幅の重み付け平均値を算出することを特徴とする請求項5に記載の道路認識装置。
【請求項7】
前記グループ化手段は、前記グループ化した前記水平ラインのグループが、前記画像における最下端の水平ラインを含む場合には、前記グループの最も奥側の位置までの距離を算出し、前記グループの最も奥側の位置までの距離から、過去のフレームで算出した前記横断歩道の幅の重み付け平均値を減算することで、前記横断歩道までの距離を算出することを特徴とする請求項6に記載の道路認識装置。
【請求項8】
前記グループ化手段は、過去のフレームでグループ化した前記グループと今回のフレームでグループ化した前記グループとの対応付けを行い、
前記車線検出手段は、前回のフレームで検出した前記グループの前記画像中の位置および前回のフレームから今回のフレームまでの間の自車両の挙動に基づいて、今回のフレームにおける当該グループの前記画像上の位置を推測し、推定した前記位置の前記水平ライン上では前記車線候補点の検出を行わないことを特徴とする請求項1から請求項7のいずれか一項に記載の道路認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2011−118509(P2011−118509A)
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願番号】特願2009−273352(P2009−273352)
【出願日】平成21年12月1日(2009.12.1)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願日】平成21年12月1日(2009.12.1)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]