壁検出装置
【課題】道路を含む自車両の進行路を撮像した撮像画像中から道路脇のガードレール等の壁を確実にかつ精度良く検出可能な壁検出装置を提供する。
【解決手段】壁検出装置１は、道路を含む自車両ＭＣの進行路を撮像して一対の画像を出力する撮像手段２と、撮像された一対の画像に基づいて少なくとも一方の画像Ｔの設定領域ごとに実空間における距離Ｌijを算出する画像処理手段６と、距離Ｌijの情報に基づいて道路面より上方に存在するとみなすことができる設定領域を抽出する抽出手段９３と、抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線ｒ１、ｌ１を検出し、壁を表す直線ｒ１、ｌ１を基準としてより遠方の直線状または曲線状の壁のラインを検出し、壁を表す直線および壁のラインを合わせて壁の位置ＷＲ、ＷＬを検出する壁検出手段９４とを備える。
【解決手段】壁検出装置１は、道路を含む自車両ＭＣの進行路を撮像して一対の画像を出力する撮像手段２と、撮像された一対の画像に基づいて少なくとも一方の画像Ｔの設定領域ごとに実空間における距離Ｌijを算出する画像処理手段６と、距離Ｌijの情報に基づいて道路面より上方に存在するとみなすことができる設定領域を抽出する抽出手段９３と、抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線ｒ１、ｌ１を検出し、壁を表す直線ｒ１、ｌ１を基準としてより遠方の直線状または曲線状の壁のラインを検出し、壁を表す直線および壁のラインを合わせて壁の位置ＷＲ、ＷＬを検出する壁検出手段９４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、壁検出装置に係り、特に、道路を含む自車両の進行路を撮像した撮像画像中から道路脇の壁を検出可能な壁検出装置に関する。
【背景技術】
【０００２】
近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラやビデオカメラ等で撮像した画像に画像処理を施して、画像中から追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された車線や先行車や歩行者、ガードレール等の障害物の位置や速度を検出する装置が種々提案されている（例えば、特許文献１〜４等参照）。
【０００３】
これらの技術は、例えば、車線に追従し車線を逸脱しそうな場合には現在の走行レーンに引き戻すように自車両の走行を自動制御したり、検出した歩行者や障害物に対しては衝突しないように回避し先行車には追従するように自車両を自動制御する技術につながるため、車線や障害物等を精度良く検出可能であることが求められている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開２００１−９２９７０号公報
【特許文献３】特開２００３−２０４５４６号公報
【特許文献４】特開２００１−４８０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらの装置において、例えば車線逸脱回避制御では自車両が逸脱しそうな車線側の隣接する走行レーンに対向車や先行車両等の障害物が存在しないような場合には、自車両が車線を踏む状態で走行したり多少車線をはみ出して走行するように自車両を制御することが許される場合がある。
【０００５】
しかし、道路脇の壁、すなわち住宅やビルの壁のみならずブロック塀やガードレール、生垣等に対しては前記のような車線と同様に扱うことができず、壁に接触したり衝突したりする事態は確実に回避されなければならない。なお、本発明では、住宅やビルの壁やブロック塀、ガードレール、生垣等の道路脇の立体物を壁と総称する。
【０００６】
特にガードレールが配置されたり生垣が植栽された道路では、ガードレールや生垣等の付近に車線が標示されていない場合もあり、自車両の自動制御を検出された車線に基づいて行うだけでは十分ではなく、道路脇の壁の位置を確実にかつ精度良く検出することが必要である。また、道路脇の壁の位置を確実にかつ精度良く検出可能な検出装置が求められている。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、道路を含む自車両の進行路を撮像した撮像画像中から道路脇のガードレール等の壁を確実にかつ精度良く検出可能な壁検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記の問題を解決するために、第１の発明の壁検出装置は、
道路を含む自車両の進行路を撮像して一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
前記距離の情報に基づいて道路面より上方に存在するとみなすことができる前記設定領域を抽出する抽出手段と、
抽出された前記設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線を検出し、前記壁を表す直線を基準としてより遠方の直線状または曲線状の壁のラインを検出し、前記壁を表す直線および前記壁のラインを合わせて壁の位置を検出する壁検出手段と
を備えることを特徴とする。
【０００９】
第２の発明は、第１の発明の壁検出装置において、前記壁検出手段は、検出した前記壁が所定の距離以上連続して検出されていない場合には検出結果を無効とすることを特徴とする。
【００１０】
第３の発明は、第１または第２の発明の壁検出装置において、前記壁検出手段は、検出した前記壁が所定の速度以上の移動速度を有する場合には検出結果を無効とすることを特徴とする。
【００１１】
第４の発明は、第１から第３のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換し、前記実空間上の点に基づいて少なくとも前記壁を表す直線を検出することを特徴とする。
【００１２】
第５の発明は、第１から第３のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域のうち同一立体物を撮像したと見なすことができる設定領域をグループ化し、自車両の進行方向に対して所定の傾きを有するグループの前記一方の画像上の位置または実空間上の位置に基づいて少なくとも前記壁を表す直線を検出することを特徴とする。
【００１３】
第６の発明は、第１から第５のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換して、前記点を自車両の距離方向および左右方向に格子状に分割された前記実空間上の各ブロックにプロットし、前記実空間上の各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて前記壁を表す直線または前記壁のラインを検出することを特徴とする。
【発明の効果】
【００１４】
第１の発明によれば、ステレオカメラにより撮像された一対の画像のうち一方の画像に設定された各設定領域についてステレオマッチング処理によりそれぞれ視差を算出し、それに基づいて設定領域に撮像されている立体物までの距離を精度良く算出する。そして、距離の情報に基づいて自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁のラインを検出し、両者をあわせて自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【００１５】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本発明に係る壁検出装置が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【００１６】
第２の発明によれば、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように、壁が所定距離以上連続して検出されていない場合に検出結果を無効とすることで、壁の誤検出を確実に回避することが可能となり、前記第１の発明の効果をより的確に発揮させることが可能となる。
【００１７】
第３の発明によれば、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように、検出した壁が所定速度以上の速度を有する場合に検出結果を無効とすることで、壁の誤検出を確実に回避することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００１８】
第４の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、変換された実空間上の点に基づいてハフ変換等の直線近似により壁を表す直線を検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００１９】
第５の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点のうち同一立体物を撮像したと見なすことができる設定領域に対応する点をグループ化して直線近似し、自車両の進行方向にほぼ平行なグループであって自車両に最も近い自車両左右の直線を壁直線として検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２０】
第６の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換して、これらの点を自車両前方の格子状に分割された実空間上の各ブロックにプロットし、各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて壁の位置を検出することで、例えば変換された実空間上の点が実空間上に整然と並ばず、実空間上に散在するようにプロットされるような場合にも、自車両の左右の壁の位置を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る壁検出装置の実施の形態について、図面を参照して説明する。
【００２２】
［第１の実施の形態］
第１の実施形態に係る壁検出装置１は、図１に示すように、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とで構成されている。
【００２３】
撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。
【００２４】
メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。
【００２５】
メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。
【００２６】
Ａ／Ｄコンバータ３ａからはメインカメラ２ａで撮像され前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像とし出力され、またＡ／Ｄコンバータ３ｂからはサブカメラ３ｂで撮像され変換されたデジタル画像が比較画像として出力されるようになっている。
【００２７】
Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。
【００２８】
画像補正部４からは、基準画像Ｔが例えば図２に示されるような各画素に輝度値を有する画像データとして、また比較画像も各画素に輝度値を有する画像データとしてそれぞれ出力されるように構成されている。
【００２９】
画像補正部４には、画像データメモリ５が接続されており、基準画像Ｔと比較画像とのそれぞれの画像データは画像データメモリ５に格納されると同時に検出手段９に送信されるようになっている。
【００３０】
また、画像補正部４には、画像処理手段６が接続されている。画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。
【００３１】
イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。
【００３２】
この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。
【００３３】
イメージプロセッサ７は、基準画像Ｔを設定領域である例えば４×４画素の領域に分け、ステレオマッチング処理により各設定領域ごとに１つの視差ｄｐを算出するようになっている。具体的には、例えば基準画像Ｔが、水平方向が５１２画素、垂直方向が２００画素の画像である場合、イメージプロセッサ７は、基準画像Ｔを格子状に４×４画素ずつ１２８×５０個に分割して設定領域を形成する。
【００３４】
１つの設定領域を構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、１６画素の輝度値ｐ１ijがその設定領域特有の輝度値特性を形成している。
【００３５】
なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素のｉ座標およびｊ座標を表す。前述のように基準画像Ｔが５１２×２００画素である場合、０≦ｉ≦５１１、０≦ｊ≦１９９である。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。
【００３６】
イメージプロセッサ７は、比較画像を水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの設定領域を取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向すなわちｉ方向にシフトさせながら、基準画像Ｔの設定領域における１６個の画素の輝度値ｐ１ij とそれに対応する比較画像における１６個の画素の輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の設定領域、すなわち基準画像Ｔの設定領域に最も近い輝度値特性を有する比較画像上の設定領域を探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
【００３７】
イメージプロセッサ７は、このようにして特定した比較画像上の設定領域ともとの基準画像Ｔ上の設定領域とのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の設定領域に対応付けるようになっている。
【００３８】
この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとを三角測量の原理に基づいて対応付けることができる。
【００３９】
具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、視差ｄｐが割り付けられた基準画像上の点（ｉ，ｊ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
【００４０】
なお、このようにして視差ｄｐあるいは後述する距離Ｌijが各設定領域ごとに割り付けられた基準画像Ｔを距離画像という。また、前記（２）〜（４）式において、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００４１】
すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌijと視差ｄｐとは、前記（４）式のＺを距離Ｌijとすることで一意に対応付けられる。また、視差ｄｐから前記（４）式に基づいて求められるＺを前記（２）、（３）式に代入することで距離画像上のｉ座標およびｊ座標と対応付けて求めることができる。
【００４２】
また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。
【００４３】
すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の設定領域を比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する設定領域が特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。
【００４４】
したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｌij、すなわち基準画像Ｔの各設定領域について実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。
【００４５】
イメージプロセッサ７で算出された基準画像Ｔの各設定領域の視差ｄｐは前記（４）式に基づいてＺすなわち実空間における距離Ｌijに変換され、この距離Ｌijが基準画像Ｔ上の設定領域に対応付けられて、距離画像として画像処理手段６の距離データメモリ８に格納されるようになっている。
【００４６】
なお、距離画像上の座標（ｉ，ｊ）は基準画像Ｔ上の座標（ｉ，ｊ）に対応する。また、以下に述べる検出手段９における処理で、距離画像上の１つの設定領域を４×４個の画素として扱う場合には１つの設定領域に属する１６個の画素がそれぞれ距離Ｌijを有するものとして扱われ、設定領域を１つの処理対象として扱う場合には設定領域が距離Ｌijを有するものとして扱われる。
【００４７】
検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、車速センサやステアリングホイールの操舵角を測定する操舵角センサ等のセンサ類Ａが接続されている。
【００４８】
検出手段９は、図３に示すように、車線検出手段９１と、車線モデル形成手段９２と、抽出手段９３と、壁検出手段９４と、メモリ９５とを備えている。検出手段９の各手段には、センサ類ＡからＩ／Ｏインターフェース９６を介して必要なデータが入力されるようになっている。
【００４９】
車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｌijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。
【００５０】
車線検出手段９１は、基準画像Ｔから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１および後述する車線モデル形成手段９２は前記特許文献２に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。
【００５１】
車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の実空間における距離Ｌijの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図４に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。
【００５２】
その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の距離Ｌijの情報に基づいて、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。
【００５３】
車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図５に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を破棄して残りの車線候補点を結ぶことで、図６に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。
【００５４】
なお、本実施形態では、車線検出手段９１は、検出された各車線候補点の座標を直線または曲線で近似して左右の車線位置ＬＲ、ＬＬを検出するようになっている。また、車線候補点が検出されていない自車両から遠方の領域についても、前記近似された直線や曲線に基づいて、或いは検出された車線候補点同士を結ぶ直線の傾きの変化率等に応じて検出された左右の車線位置ＬＲ、ＬＬを適切に延長して推定するようになっている。
【００５５】
また、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。
【００５６】
車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報をメモリ９５に保存するとともに外部に出力するようになっている。
【００５７】
車線モデル形成手段９２は、車線検出手段９１で検出された左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、車線モデル形成手段９２は、図７（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）はＺ−Ｘ平面上の道路モデルすなわち水平形状モデル、図７（Ｂ）はＺ−Ｙ平面上の道路モデルすなわち道路高モデルを表す。
【００５８】
具体的には、車線モデル形成手段９２は、自車両前方の実空間を自車両の位置からの距離Ｚ７までの各区間に分け、車線検出手段９１で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（５）〜（８）式のパラメータａＲ、ｂＲ、ａＬ、ｂＬ、ｃＲ、ｄＲ、ｃＬ、ｄＬを算出して車線モデルを形成するようになっている。
【００５９】
［水平形状モデル］
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（５）
右車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（６）
［道路高モデル］
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（７）
右車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（８）
【００６０】
このように車線モデル形成手段９２は、距離Ｌijの情報に基づいて道路高モデルを形成することで、実空間上における道路面の高さを検出することが可能であり、本発明の道路面検出手段に相当する。車線モデル形成手段９２は、このようにして形成した道路モデルすなわち算出した各区間のパラメータａＲ〜ｄＬをそれぞれメモリ９５に保存するとともに外部に出力するようになっている。
【００６１】
なお、原点およびＸ、Ｙ、Ｚ軸は前記と同様にして取られる。また、車線モデル形成手段９２で形成された車線モデルは、前述した車線検出手段９１における車線候補点の検出の際に次回のサンプリング周期において検出された画素が道路面上にあるか否かの判断の基準等として用いられるとともに、後述する各手段での処理に用いられるようになっている。
【００６２】
抽出手段９３は、距離Ｌijの情報と車線モデル形成手段９２に形成された車線モデルに基づいて設定領域ごとに距離Ｌijが割り付けられた基準画像すなわち距離画像の各設定領域の中から道路面より所定高さ以上上方に存在する立体物に対応するとみなされる設定領域を抽出するようになっている。
【００６３】
具体的には、抽出手段９３は、距離画像の各設定領域のうち０でない有意の距離Ｌijが割り付けられている設定領域ごとに、前記（３）式のＺにその設定領域の距離Ｌijを代入してＹを算出し、また前記車線モデルの道路高モデルからその距離Ｌijにおけるモデル高さを算出して、その差からその設定領域に対応する立体物の道路面からの高さを算出する。
【００６４】
そして、抽出手段９３は、その差が予め設定された所定高さ以上である設定領域のみを抽出するようになっている。抽出手段９３は、このようにして抽出した設定領域をメモリ９５に保存するようになっている。
【００６５】
壁検出手段９４は、抽出手段９３で抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線すなわち壁直線を検出し、また、検出した壁直線を基準としてより遠方の直線状または曲線状の壁のラインすなわち壁ラインを検出し、壁直線および壁ラインを合わせて自車両の左右に壁を検出するようになっている。
【００６６】
本実施形態では、壁検出手段９４は、壁直線の検出においては、抽出手段９３で抽出された設定領域を実空間上の点に変換しその実空間上の点に基づいて直線近似により自車両に近い領域で自車両の左右に壁直線を検出するようになっている。
【００６７】
この壁直線の検出は、抽出された全設定領域を対象として行うことも可能であるが、抽出された設定領域中には距離Ｌijの信頼度が低いものや壁検出に不必要なものも含まれるため、本実施形態では以下の手法により壁直線を検出するようになっている。
【００６８】
すなわち、壁検出手段９４は、まず、距離データメモリ８から読み出した距離画像を例えば４画素等の所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、１つの短冊状の区分に属する前記抽出された設定領域の全距離Ｌijの分布を示す図８に示すようなヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物の代表距離Ｌｎとする。これを短冊状の全区分について行う。
【００６９】
壁検出手段９４は、算出した短冊状の各区分の代表距離Ｌｎを実空間上の点に変換するようになっている。すなわち、代表距離ＬｎをＺ座標とし、そのＺ座標を前記（２）式に代入してＸ座標をそれぞれ算出する。そして、このようにしてＸ、Ｚ座標が算出された各点をＸ−Ｚ平面で表される実空間上にプロットすると、図９に示すように、変換された各点が、先行車やガードレール等の立体物のうち自車両ＭＣに面した部分に並ぶようにプロットされる。
【００７０】
壁検出手段９４は、このようにして算出した実空間上の各点についてハフ変換を行うようになっている。なお、ハフ変換は算出した実空間上のすべての点に対して行ってもよく、また、前記短冊状の各区分を距離画像の右半分と左半分とに分けてそれぞれについて行うように構成することも可能である。また、ハフ変換としては公知の手法が用いられ、例えば、下記に示す手法により行われる。
【００７１】
具体的には、例えば、短冊状の各区分の代表距離Ｌｎから変換された各点の座標を（Ｘｎ，Ｚｎ）とし、各点が基準画像Ｔ上の直線
Ｘ＝ａＺ＋ｂ …（９）
上に存在すると仮定すると、Ｘｎ、Ｚｎは、
Ｘｎ＝ａＺｎ＋ｂ …（１０）
を満たす。
【００７２】
（１０）式を変形すると、
ｂ＝−Ｚｎ×ａ＋Ｘｎ …（１１）
となる。この（１１）式から分かるように、各点（Ｘｎ，Ｚｎ）が算出されると、−Ｚｎ、Ｘｎをそれぞれ傾きおよびｂ切片としてａ−ｂ平面で表されるハフ平面上に１本の直線を引くことができる。
【００７３】
ハフ平面を予め所定の大きさに升目に区切っておき、各点（Ｘｎ，Ｚｎ）が算出され（１１）式で表される直線が引かれる度に直線が通過する升目の計数値を１増加させる。そして、短冊状の各区分について代表距離Ｌｎを実空間上の点に変換してハフ変換を行い、最終的にすべて区分について直線を算出してハフ平面の升目の加算を終了した時点で、ハフ平面の各升目の計数値について極大値を与えるａ、ｂの組、すなわちそれらを前記（９）式に代入して得られる直線を所定数抽出する。
【００７４】
例えば、図９に示した各点についてハフ変換を施すと複数の直線が得られる。壁検出手段９４は、得られた複数の直線のうち、例えば、
（ａ）直線が自車両ＭＣの内側を通ったり自車両ＭＣに非常に近いところを通る
（ｂ）直線と自車両ＭＣの挙動から推定される軌跡との平行度が低い
等の条件を満たす直線を壁としてふさわしくないとして棄却し、直線が自車両ＭＣの左右に１本ずつに絞られるまで直線の選択を行う。
【００７５】
なお、抽出された直線が前記条件を満たさなかったり、ハフ平面の各升目の計数値が閾値以下の場合には極大値であっても抽出しない等の条件が満たされないような場合には、自車両ＭＣの右側や左側あるいは両方ともに直線が選択されない場合もある。
【００７６】
壁検出手段９４は、このようにして例えば図１０に示すように自車両ＭＣの左右に１本ずつ直線ｒ１、ｌ１が選択されると、各点について自車両ＭＣに近い点から順に各点と直線ｒ１、ｌ１との実空間上の距離を算出していき、直線ｒ１、ｌ１との距離が所定値以下となる最初の点を壁候補点として抽出する。そして、壁検出手段９４は、順次自車両ＭＣから離れる方向に各点を探索していき、直線ｒ１、ｌ１との距離が所定値以下であり、最も近い自車両ＭＣ側の壁候補点との距離が所定距離以下である各点を壁候補点として抽出していく。
【００７７】
本実施形態では、このように直線ｒ１、ｌ１との距離が近い壁候補点を自車両ＭＣに近い側から順次抽出していくことで自車両に近い領域での壁を表す直線の探索を行い、自車両に近い位置で直線を確実に検出するようになっている。このようにして壁候補点の抽出が行われると、例えば図１０に示された各点からは図１１に白丸で示される壁候補点が抽出される。
【００７８】
壁検出手段９４は、以上のようにして直線ｒ１、ｌ１についてそれぞれ壁候補点を抽出し、直線ｒ１、ｌ１のうち図１２に示すように自車両ＭＣに最も近い壁候補点から最も遠い壁候補点までを自車両ＭＣに近い領域に壁を表す直線すなわち壁直線ｒ１、ｌ１として検出するようになっている。
【００７９】
壁検出手段９４は、続いて、このようにして検出した壁直線ｒ１、ｌ１を基準としてより遠方の直線状または曲線状の壁ラインを検出するようになっている。
【００８０】
この場合、例えば図１１に黒丸や白丸で示したように距離画像の短冊状の各区分について立体物までの代表距離Ｌｎから変換された実空間上の各点が整然と並ぶような場合には、図１２に示した壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い端部から順次遠方に各点を追跡していって、より遠方の直線状または曲線状の壁ラインを検出することができる。
【００８１】
具体的には、壁直線ｒ１、ｌ１に属する自車両から最も遠い壁候補点より遠方の各点を自車両に近い側から順に探索していく。そして、まず、壁直線ｒ１、ｌ１に属する自車両から最も遠い壁候補点と次の点との実空間上のＸ軸方向、Ｚ軸方向の変位が規定値以内か否かを判断する。そして、規定値以内であると判断すると、その点を壁候補点として記録する。
【００８２】
以後同様にして、図１３（Ａ）に示されるように、自車両から離れる方向に次の点を検出すると、直前に検出された壁候補点ａとのＸ軸方向、Ｚ軸方向の変位が規定値以内か否かを判断し、規定値以内であると判断すると、今回検出した点を壁候補点ｂとして記録していく。
【００８３】
また、次の点と直前に検出された壁候補点とのＸ軸方向、Ｚ軸方向の変位が規定値以内でない場合も、前回までに検出した壁候補点を結ぶ直線、すなわち、図１３（Ｂ）では壁候補点ａと壁候補点ｂとを結ぶ直線からのＸ軸方向の変位が規定値以内であれば、今回検出した点を壁候補点ｃ、ｄ、…として記録する。
【００８４】
このようにして、壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い端部から順次遠方に各点を追跡していって、より遠方の直線状または曲線状の壁ラインを検出することが可能である。
【００８５】
しかし、実際には、距離画像の短冊状の各区分について立体物までの代表距離Ｌｎを実空間上の各点に変換した場合、変換された各点が図１２に示したように整然と並ばずに、Ｘ−Ｚ平面で表される実空間上に散在するようにプロットされる場合もある。そのため、本実施形態では、壁検出手段９４は、以下の手法によってより遠方の壁ラインを検出するように構成されている。
【００８６】
すなわち、壁検出手段９４は、まず、自車両ＭＣ前方の実空間を図１４に示すように自車両の距離方向すなわちＺ軸方向と左右方向すなわちＸ軸方向に所定の大きさの格子状の複数のブロックに分割する。そして、前記壁直線の検出で検出した壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い点より遠方の領域において、距離画像の短冊状の各区分について立体物までの代表距離Ｌｎから変換された実空間上の各点をあてはまるブロックにプロットしていき、各点があてはまる毎にそのブロックのプロット数を１ずつ増加させる。
【００８７】
実空間上のすべての点を各ブロックにプロットした後、例えば図１４に示す矢印で示す地点でのプロット数ｐのＸ軸方向の分布は、例えば図１５に示すような分布となる。壁検出手段９４は、このプロット数ｐの分布に対して例えば図１６に示す点数ｗのパターンを施して下記（１２）式に従って一致度Ｑを算出し、パターンをＸ軸方向に移動させながら一致度Ｑを順次算出してその最大値を探索するパターンマッチングを行うようになっている。
Ｑ＝Σｗ・ｐ …（１２）
【００８８】
壁検出手段９４は、このＸ軸方向のパターンマッチングにおいて一致度Ｑが最大になる場合のパターンの原点の位置、すなわち例えば図１５のプロット数ｐの分布に図１６の点数ｗのパターンをマッチングした場合には図１７に示すＸ軸方向の座標Ｘｒを壁候補点のＸ座標として抽出するようになっている。
【００８９】
なお、この壁候補点のＺ座標は、その壁候補点が属する実空間上のブロックの中央位置としてもよいし、ブロックの最も自車両ＭＣに近い位置としてもよい。また、自車両ＭＣの左側の壁候補点を求めたい場合には、例えば図１８に示す点数ｗのパターンを用いて同様のパターンマッチングを行うことで抽出することができる。
【００９０】
壁検出手段９４は、このようにして抽出した壁候補点を結んで折れ線状の壁ラインを検出するようになっている。壁検出手段９４は、以上のようにして検出した壁直線ｒ１、ｌ１と左右の壁ラインとをそれぞれ合わせて図１９に示すように自車両ＭＣの左右の壁の位置ＷＲ、ＷＬを検出するようになっている。また、壁検出手段９４は、このようにして検出した壁ＷＲ、ＷＬの情報をそれぞれメモリ９５に保存するようになっている。
【００９１】
なお、このようにして抽出した壁候補点を曲線状に結んで壁ラインとすることも可能である。また、抽出された壁候補点が他の壁候補点の位置から合理的な範囲内にない場合などにはその壁候補点は削除されるようになっている。また、本実施形態では距離画像の各区分の代表距離Ｌｎから変換された実空間上の各点を実空間上のブロックにプロットする場合について述べたが、距離画像の有意な距離Ｌijを有する各設定領域を実空間上の点に変換してそれを各ブロックにプロットするように構成することも可能である。
【００９２】
一方、本実施形態では、壁検出手段９４は、さらに、検出した壁ＷＲ、ＷＬが実空間上で所定の距離以上連続して検出されていない場合には検出結果を無効とするようになっている。このように、本実施形態では、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように壁が所定距離以上連続して検出されていない場合に検出結果を無効とすることで壁の誤検出を回避するようになっている。
【００９３】
具体的には、壁検出手段９４は、前述した壁直線ｒ１、ｌ１や壁ラインの検出の際に、抽出された壁候補点同士の実空間上の距離を算出し、その距離が設定された閾値以内にある壁候補点同士を結んだ場合に、自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が例えば１０ｍ等に設定された所定距離に達しない場合には、それらの壁候補点に基づいて検出された壁を無効とするようになっている。
【００９４】
例えば図１９の自車両ＭＣの左側に検出された壁ＷＬにおいて、壁ＷＬに属する自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が所定距離に達していなければ、壁ＷＬの検出結果は無効とされる。
【００９５】
また、図１９の壁ＷＲのように自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が所定距離以上であっても、それらの間に隣接壁候補点同士の距離が設定された閾値より大きい地点があり、自車両ＭＣに最も近い壁候補点とその地点の自車両側の壁候補点との実空間上の距離が前記所定距離に達していなければ壁ＷＲの検出結果は無効とされる。つまり、検出された壁が所定距離以上であっても連続して所定距離以上でなければ検出結果は無効とされる。なお、検出された壁が連続しているか否かの判定は、自車両に最も近い壁候補点と最も遠い壁候補点にそれぞれ対応する画像の設定領域が、互いに所定間隔以上離れているか否かにより判定することも可能である。
【００９６】
図２に示した実施例では、図１０に示すように自車両右側の壁ＷＲに属する壁候補点において隣接する壁候補点同士の距離が設定された閾値より大きい地点はなく図１９に示した壁ＷＲは連続して所定距離以上であるから有効であり、自車両左側の壁ＷＬは所定距離に達していないため無効となる。従って、図２に示した基準画像Ｔに基づいた壁検出では自車両右側のガードレールのみが壁ＷＲとして検出され、装置外部に出力される。
【００９７】
さらに、本実施形態では、壁検出手段９４は、検出した壁が所定の速度以上の移動速度を有する場合には検出結果を無効とするようになっている。このように、本実施形態では、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように検出した壁が所定速度以上の速度を有する場合に検出結果を無効とすることで壁の誤検出を回避するようになっている。
【００９８】
壁の移動速度の算出手法としては、例えば自車両と立体物との相対速度を測定するレーダ等の測定手段による相対速度の情報と車速センサからの自車両の走行速度の情報とから壁として検出された立体物の移動速度を算出することが可能である。また、図１０に示した距離画像の各区分の代表距離Ｌｎから実空間上に変換された各点の前回の検出位置と今回の検出位置との差分から自車両と壁として検出された立体物との相対速度を算出し、それと自車両の走行速度の情報とから壁として検出された立体物の移動速度を算出することも可能である。その他、壁として検出された立体物の移動速度を算出可能な手法を適宜採用することができる。
【００９９】
なお、無効とされた検出結果は、メモリ９５から削除するように構成してもよく、あるいは無効とラベルしてメモリ９５に保存するように構成してもよい。また、無効とされた検出結果を無効とラベルしたうえで外部に出力するように構成することも可能である。
【０１００】
以上のように、本実施形態に係る壁検出装置１によれば、ステレオマッチング処理により基準画像Ｔの各設定領域についてそれぞれ視差ｄｐを算出し、それに基づいて設定領域に撮像されている立体物までの距離Ｌijを精度良く算出する。
【０１０１】
そして、基準画像Ｔあるいは基準画像Ｔの各設定領域に距離Ｌijが割り付けられて形成された距離画像に基づいて、自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁の位置を検出して、自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【０１０２】
特に本実施形態のように、有意な距離Ｌijの情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点に基づいてハフ変換等の直線近似により壁を表す直線を検出することで自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となる。
【０１０３】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本実施形態に係る壁検出装置１が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【０１０４】
なお、本実施形態では、図１４等に示した実空間上のブロックを用いたパターンマッチングの手法を、壁直線ＷＲ、ＷＬが検出された後のより遠方の壁ラインの検出にのみ用いる場合について説明したが、この手法を用いて自車両に近い領域における壁直線の検出を行うように構成することも可能である。
【０１０５】
［第２の実施の形態］
第２の実施形態に係る壁検出装置は、図１に示した前記第１の実施形態に係る壁検出装置１と同様の構成であり、検出手段９における壁検出手段の構成が異なっている。以下、前記第１の実施形態と同様の構成部分については同一の符号を付して説明する。
【０１０６】
本実施形態に係る壁検出手段は、抽出手段９３で抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁直線を検出し、また、検出した壁直線を基準としてより遠方の直線状または曲線状の壁ラインを検出し、壁直線および壁ラインを合わせて自車両の左右に壁を検出する点では前記第１の実施形態と同様であるが、壁直線の検出手法が異なる。
【０１０７】
壁検出手段は、壁直線の検出において、前記第１の実施形態と同様に距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割し、１つの短冊状の区分に属する前記抽出された設定領域の全距離Ｌijについてヒストグラムを作成してその短冊状の区分における立体物の代表距離Ｌｎを算出し、算出した各代表距離Ｌｎをそれぞれ実空間上の点に変換して図９に示したように実空間上にそれらの点をプロットするようになっている。
【０１０８】
続いて、壁検出手段は、図９に示した実空間上の各点に対して、図２０に示すように近接する各点の距離や方向性に基づいて同一立体物と見なせる各点をグループＧ１〜Ｇ７にグループ化する。そして、図２１に示すように、各点が自車両の進行方向に対して垂直なＸ軸方向に対して略平行に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が自車両の進行方向であるＺ軸方向にほぼ平行に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物に該当するグループをそれぞれ“正面”および“側壁”として検出するようになっている。
【０１０９】
そして、壁検出手段は、“正面”や“側壁”として検出した各グループＧ１〜Ｇ７に属する各点をそれぞれハフ変換や最小二乗法等の手法を用いて直線近似し、自車両ＭＣに最も近い左右の側壁Ｗ１を表す直線および側壁Ｗ４を表す直線をそれぞれ壁直線Ｗ１、Ｗ４として検出するようになっている。
【０１１０】
なお、本実施形態においても壁直線の検出の際、前述したように、
（ａ）直線が自車両ＭＣの内側を通ったり自車両ＭＣに非常に近いところを通る
（ｂ）直線と自車両ＭＣの挙動から推定される軌跡との平行度が低い
等の条件を満たす直線を、壁を表す直線としてふさわしくない直線として棄却する等の処理が行われる。
【０１１１】
一方、壁直線Ｗ１、Ｗ４より遠方の壁ラインの検出については、前記第１の実施形態と同様に実空間上のブロックを用いたパターンマッチングの手法を用いて処理するように構成することが可能である。また、図２１に示すように、側壁Ｗ４の検出と同時にそれに連続するより遠方の側壁Ｗ３が検出される場合には、本実施形態の手法により検出された側壁Ｗ３を壁ラインとして検出するように構成することも可能である。
【０１１２】
本実施形態では、壁検出手段は、このようにして壁直線Ｗ１を自車両ＭＣの左側の壁の位置ＷＬ、壁直線Ｗ４と壁ラインＷ３とを合わせて自車両ＭＣの右側の壁の位置ＷＲとして検出するようになっている。また、壁検出手段はこのようにして検出した左右の壁の情報をそれぞれメモリ９５に保存するようになっている。
【０１１３】
また、本実施形態においても、検出した壁の長さと連続性および移動速度による検出結果の無効処理が行われるようになっている。そのため、本実施形態においても自車両ＭＣの左側に検出された壁ＷＬは無効とされ、結局、図２に示した基準画像Ｔに基づいた壁検出により自車両右側のガードレールのみが壁ＷＲとして検出され、装置外部に出力される。
【０１１４】
以上のように、本実施形態に係る壁検出装置によれば、前記第１の実施形態に係る壁検出装置１と同様に、ステレオマッチング処理により基準画像Ｔの各設定領域についてそれぞれ視差ｄｐを算出し、それに基づいて設定領域に撮像されている立体物までの距離Ｌijを精度良く算出する。
【０１１５】
そして、基準画像Ｔあるいは基準画像Ｔの各設定領域に距離Ｌijが割り付けられて形成された距離画像に基づいて、自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁の位置を検出して、自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【０１１６】
特に本実施形態のように、有意な距離Ｌijの情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点のうち同一立体物を撮像したと見なすことができる設定領域に対応する点をグループ化して直線近似し、自車両の進行方向にほぼ平行なグループであって自車両に最も近い自車両左右の直線を壁直線として検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となる。
【０１１７】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本実施形態に係る壁検出装置が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【０１１８】
なお、本実施形態に示したグループ化処理を基準画像Ｔ上や距離画像上で行うように構成することも可能である。
【図面の簡単な説明】
【０１１９】
【図１】第１の実施形態に係る壁検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】本実施形態に係る検出手段の構成を示すブロック図である。
【図４】水平ラインｊ上に検出された車線候補点を説明する図である。
【図５】検出された車線候補点を示す図である。
【図６】検出された右車線位置および左車線位置を示す図である。
【図７】車線モデルの（Ａ）水平形状モデル、（Ｂ）道路高モデルを例示する図である。
【図８】設定領域の全距離の分布を示すヒストグラムを説明する図である。
【図９】設定領域から変換された各点を実空間上にプロットした図である。
【図１０】壁検出手段で自車両の左右に選択された直線を示す図である。
【図１１】図１０に示した各点から抽出された壁候補点を説明する図である。
【図１２】検出された壁直線を示す図である。
【図１３】実区間上の点を壁候補点として記録する条件を説明する図である。
【図１４】複数のブロックに分割された実空間を説明する図である。
【図１５】プロット数のＸ軸方向の分布を示すグラフである。
【図１６】パターンマッチングに用いる点数のパターンを示す図である。
【図１７】パターンマッチングの結果抽出された壁候補点のＸ座標を示す図である。
【図１８】図１６とは反対側の壁候補点を抽出するための点数のパターンを示す図である。
【図１９】検出された壁の位置を示す図である。
【図２０】第２の実施形態において図９の各点をグループ化して形成された各グループを示す図である。
【図２１】グループ化された正面と側壁および検出された壁の位置を示す図である。
【符号の説明】
【０１２０】
１ 壁検出装置
２ 撮像手段
６ 画像処理手段
９３ 抽出手段
９４ 壁検出手段
Ｔ 基準画像（一方の画像）
Ｌij 距離
ＷＲ、ＷＬ 壁の位置
ＭＣ 自車両
ｒ１、ｌ１ 壁を表す直線
Ｇ１〜Ｇ７ グループ
ｐ プロット数
【技術分野】
【０００１】
本発明は、壁検出装置に係り、特に、道路を含む自車両の進行路を撮像した撮像画像中から道路脇の壁を検出可能な壁検出装置に関する。
【背景技術】
【０００２】
近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラやビデオカメラ等で撮像した画像に画像処理を施して、画像中から追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された車線や先行車や歩行者、ガードレール等の障害物の位置や速度を検出する装置が種々提案されている（例えば、特許文献１〜４等参照）。
【０００３】
これらの技術は、例えば、車線に追従し車線を逸脱しそうな場合には現在の走行レーンに引き戻すように自車両の走行を自動制御したり、検出した歩行者や障害物に対しては衝突しないように回避し先行車には追従するように自車両を自動制御する技術につながるため、車線や障害物等を精度良く検出可能であることが求められている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開２００１−９２９７０号公報
【特許文献３】特開２００３−２０４５４６号公報
【特許文献４】特開２００１−４８０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらの装置において、例えば車線逸脱回避制御では自車両が逸脱しそうな車線側の隣接する走行レーンに対向車や先行車両等の障害物が存在しないような場合には、自車両が車線を踏む状態で走行したり多少車線をはみ出して走行するように自車両を制御することが許される場合がある。
【０００５】
しかし、道路脇の壁、すなわち住宅やビルの壁のみならずブロック塀やガードレール、生垣等に対しては前記のような車線と同様に扱うことができず、壁に接触したり衝突したりする事態は確実に回避されなければならない。なお、本発明では、住宅やビルの壁やブロック塀、ガードレール、生垣等の道路脇の立体物を壁と総称する。
【０００６】
特にガードレールが配置されたり生垣が植栽された道路では、ガードレールや生垣等の付近に車線が標示されていない場合もあり、自車両の自動制御を検出された車線に基づいて行うだけでは十分ではなく、道路脇の壁の位置を確実にかつ精度良く検出することが必要である。また、道路脇の壁の位置を確実にかつ精度良く検出可能な検出装置が求められている。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、道路を含む自車両の進行路を撮像した撮像画像中から道路脇のガードレール等の壁を確実にかつ精度良く検出可能な壁検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記の問題を解決するために、第１の発明の壁検出装置は、
道路を含む自車両の進行路を撮像して一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
前記距離の情報に基づいて道路面より上方に存在するとみなすことができる前記設定領域を抽出する抽出手段と、
抽出された前記設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線を検出し、前記壁を表す直線を基準としてより遠方の直線状または曲線状の壁のラインを検出し、前記壁を表す直線および前記壁のラインを合わせて壁の位置を検出する壁検出手段と
を備えることを特徴とする。
【０００９】
第２の発明は、第１の発明の壁検出装置において、前記壁検出手段は、検出した前記壁が所定の距離以上連続して検出されていない場合には検出結果を無効とすることを特徴とする。
【００１０】
第３の発明は、第１または第２の発明の壁検出装置において、前記壁検出手段は、検出した前記壁が所定の速度以上の移動速度を有する場合には検出結果を無効とすることを特徴とする。
【００１１】
第４の発明は、第１から第３のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換し、前記実空間上の点に基づいて少なくとも前記壁を表す直線を検出することを特徴とする。
【００１２】
第５の発明は、第１から第３のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域のうち同一立体物を撮像したと見なすことができる設定領域をグループ化し、自車両の進行方向に対して所定の傾きを有するグループの前記一方の画像上の位置または実空間上の位置に基づいて少なくとも前記壁を表す直線を検出することを特徴とする。
【００１３】
第６の発明は、第１から第５のいずれかの発明の壁検出装置において、前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換して、前記点を自車両の距離方向および左右方向に格子状に分割された前記実空間上の各ブロックにプロットし、前記実空間上の各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて前記壁を表す直線または前記壁のラインを検出することを特徴とする。
【発明の効果】
【００１４】
第１の発明によれば、ステレオカメラにより撮像された一対の画像のうち一方の画像に設定された各設定領域についてステレオマッチング処理によりそれぞれ視差を算出し、それに基づいて設定領域に撮像されている立体物までの距離を精度良く算出する。そして、距離の情報に基づいて自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁のラインを検出し、両者をあわせて自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【００１５】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本発明に係る壁検出装置が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【００１６】
第２の発明によれば、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように、壁が所定距離以上連続して検出されていない場合に検出結果を無効とすることで、壁の誤検出を確実に回避することが可能となり、前記第１の発明の効果をより的確に発揮させることが可能となる。
【００１７】
第３の発明によれば、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように、検出した壁が所定速度以上の速度を有する場合に検出結果を無効とすることで、壁の誤検出を確実に回避することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００１８】
第４の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、変換された実空間上の点に基づいてハフ変換等の直線近似により壁を表す直線を検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００１９】
第５の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点のうち同一立体物を撮像したと見なすことができる設定領域に対応する点をグループ化して直線近似し、自車両の進行方向にほぼ平行なグループであって自車両に最も近い自車両左右の直線を壁直線として検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２０】
第６の発明によれば、有意な距離の情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換して、これらの点を自車両前方の格子状に分割された実空間上の各ブロックにプロットし、各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて壁の位置を検出することで、例えば変換された実空間上の点が実空間上に整然と並ばず、実空間上に散在するようにプロットされるような場合にも、自車両の左右の壁の位置を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る壁検出装置の実施の形態について、図面を参照して説明する。
【００２２】
［第１の実施の形態］
第１の実施形態に係る壁検出装置１は、図１に示すように、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とで構成されている。
【００２３】
撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。
【００２４】
メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。
【００２５】
メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。
【００２６】
Ａ／Ｄコンバータ３ａからはメインカメラ２ａで撮像され前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像とし出力され、またＡ／Ｄコンバータ３ｂからはサブカメラ３ｂで撮像され変換されたデジタル画像が比較画像として出力されるようになっている。
【００２７】
Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。
【００２８】
画像補正部４からは、基準画像Ｔが例えば図２に示されるような各画素に輝度値を有する画像データとして、また比較画像も各画素に輝度値を有する画像データとしてそれぞれ出力されるように構成されている。
【００２９】
画像補正部４には、画像データメモリ５が接続されており、基準画像Ｔと比較画像とのそれぞれの画像データは画像データメモリ５に格納されると同時に検出手段９に送信されるようになっている。
【００３０】
また、画像補正部４には、画像処理手段６が接続されている。画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。
【００３１】
イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。
【００３２】
この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。
【００３３】
イメージプロセッサ７は、基準画像Ｔを設定領域である例えば４×４画素の領域に分け、ステレオマッチング処理により各設定領域ごとに１つの視差ｄｐを算出するようになっている。具体的には、例えば基準画像Ｔが、水平方向が５１２画素、垂直方向が２００画素の画像である場合、イメージプロセッサ７は、基準画像Ｔを格子状に４×４画素ずつ１２８×５０個に分割して設定領域を形成する。
【００３４】
１つの設定領域を構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、１６画素の輝度値ｐ１ijがその設定領域特有の輝度値特性を形成している。
【００３５】
なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素のｉ座標およびｊ座標を表す。前述のように基準画像Ｔが５１２×２００画素である場合、０≦ｉ≦５１１、０≦ｊ≦１９９である。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。
【００３６】
イメージプロセッサ７は、比較画像を水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの設定領域を取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向すなわちｉ方向にシフトさせながら、基準画像Ｔの設定領域における１６個の画素の輝度値ｐ１ij とそれに対応する比較画像における１６個の画素の輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の設定領域、すなわち基準画像Ｔの設定領域に最も近い輝度値特性を有する比較画像上の設定領域を探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
【００３７】
イメージプロセッサ７は、このようにして特定した比較画像上の設定領域ともとの基準画像Ｔ上の設定領域とのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の設定領域に対応付けるようになっている。
【００３８】
この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとを三角測量の原理に基づいて対応付けることができる。
【００３９】
具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、視差ｄｐが割り付けられた基準画像上の点（ｉ，ｊ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
【００４０】
なお、このようにして視差ｄｐあるいは後述する距離Ｌijが各設定領域ごとに割り付けられた基準画像Ｔを距離画像という。また、前記（２）〜（４）式において、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００４１】
すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌijと視差ｄｐとは、前記（４）式のＺを距離Ｌijとすることで一意に対応付けられる。また、視差ｄｐから前記（４）式に基づいて求められるＺを前記（２）、（３）式に代入することで距離画像上のｉ座標およびｊ座標と対応付けて求めることができる。
【００４２】
また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。
【００４３】
すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の設定領域を比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する設定領域が特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。
【００４４】
したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｌij、すなわち基準画像Ｔの各設定領域について実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。
【００４５】
イメージプロセッサ７で算出された基準画像Ｔの各設定領域の視差ｄｐは前記（４）式に基づいてＺすなわち実空間における距離Ｌijに変換され、この距離Ｌijが基準画像Ｔ上の設定領域に対応付けられて、距離画像として画像処理手段６の距離データメモリ８に格納されるようになっている。
【００４６】
なお、距離画像上の座標（ｉ，ｊ）は基準画像Ｔ上の座標（ｉ，ｊ）に対応する。また、以下に述べる検出手段９における処理で、距離画像上の１つの設定領域を４×４個の画素として扱う場合には１つの設定領域に属する１６個の画素がそれぞれ距離Ｌijを有するものとして扱われ、設定領域を１つの処理対象として扱う場合には設定領域が距離Ｌijを有するものとして扱われる。
【００４７】
検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、車速センサやステアリングホイールの操舵角を測定する操舵角センサ等のセンサ類Ａが接続されている。
【００４８】
検出手段９は、図３に示すように、車線検出手段９１と、車線モデル形成手段９２と、抽出手段９３と、壁検出手段９４と、メモリ９５とを備えている。検出手段９の各手段には、センサ類ＡからＩ／Ｏインターフェース９６を介して必要なデータが入力されるようになっている。
【００４９】
車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｌijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。
【００５０】
車線検出手段９１は、基準画像Ｔから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１および後述する車線モデル形成手段９２は前記特許文献２に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。
【００５１】
車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の実空間における距離Ｌijの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図４に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。
【００５２】
その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の距離Ｌijの情報に基づいて、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。
【００５３】
車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図５に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を破棄して残りの車線候補点を結ぶことで、図６に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。
【００５４】
なお、本実施形態では、車線検出手段９１は、検出された各車線候補点の座標を直線または曲線で近似して左右の車線位置ＬＲ、ＬＬを検出するようになっている。また、車線候補点が検出されていない自車両から遠方の領域についても、前記近似された直線や曲線に基づいて、或いは検出された車線候補点同士を結ぶ直線の傾きの変化率等に応じて検出された左右の車線位置ＬＲ、ＬＬを適切に延長して推定するようになっている。
【００５５】
また、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。
【００５６】
車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報をメモリ９５に保存するとともに外部に出力するようになっている。
【００５７】
車線モデル形成手段９２は、車線検出手段９１で検出された左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、車線モデル形成手段９２は、図７（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）はＺ−Ｘ平面上の道路モデルすなわち水平形状モデル、図７（Ｂ）はＺ−Ｙ平面上の道路モデルすなわち道路高モデルを表す。
【００５８】
具体的には、車線モデル形成手段９２は、自車両前方の実空間を自車両の位置からの距離Ｚ７までの各区間に分け、車線検出手段９１で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（５）〜（８）式のパラメータａＲ、ｂＲ、ａＬ、ｂＬ、ｃＲ、ｄＲ、ｃＬ、ｄＬを算出して車線モデルを形成するようになっている。
【００５９】
［水平形状モデル］
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（５）
右車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（６）
［道路高モデル］
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（７）
右車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（８）
【００６０】
このように車線モデル形成手段９２は、距離Ｌijの情報に基づいて道路高モデルを形成することで、実空間上における道路面の高さを検出することが可能であり、本発明の道路面検出手段に相当する。車線モデル形成手段９２は、このようにして形成した道路モデルすなわち算出した各区間のパラメータａＲ〜ｄＬをそれぞれメモリ９５に保存するとともに外部に出力するようになっている。
【００６１】
なお、原点およびＸ、Ｙ、Ｚ軸は前記と同様にして取られる。また、車線モデル形成手段９２で形成された車線モデルは、前述した車線検出手段９１における車線候補点の検出の際に次回のサンプリング周期において検出された画素が道路面上にあるか否かの判断の基準等として用いられるとともに、後述する各手段での処理に用いられるようになっている。
【００６２】
抽出手段９３は、距離Ｌijの情報と車線モデル形成手段９２に形成された車線モデルに基づいて設定領域ごとに距離Ｌijが割り付けられた基準画像すなわち距離画像の各設定領域の中から道路面より所定高さ以上上方に存在する立体物に対応するとみなされる設定領域を抽出するようになっている。
【００６３】
具体的には、抽出手段９３は、距離画像の各設定領域のうち０でない有意の距離Ｌijが割り付けられている設定領域ごとに、前記（３）式のＺにその設定領域の距離Ｌijを代入してＹを算出し、また前記車線モデルの道路高モデルからその距離Ｌijにおけるモデル高さを算出して、その差からその設定領域に対応する立体物の道路面からの高さを算出する。
【００６４】
そして、抽出手段９３は、その差が予め設定された所定高さ以上である設定領域のみを抽出するようになっている。抽出手段９３は、このようにして抽出した設定領域をメモリ９５に保存するようになっている。
【００６５】
壁検出手段９４は、抽出手段９３で抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線すなわち壁直線を検出し、また、検出した壁直線を基準としてより遠方の直線状または曲線状の壁のラインすなわち壁ラインを検出し、壁直線および壁ラインを合わせて自車両の左右に壁を検出するようになっている。
【００６６】
本実施形態では、壁検出手段９４は、壁直線の検出においては、抽出手段９３で抽出された設定領域を実空間上の点に変換しその実空間上の点に基づいて直線近似により自車両に近い領域で自車両の左右に壁直線を検出するようになっている。
【００６７】
この壁直線の検出は、抽出された全設定領域を対象として行うことも可能であるが、抽出された設定領域中には距離Ｌijの信頼度が低いものや壁検出に不必要なものも含まれるため、本実施形態では以下の手法により壁直線を検出するようになっている。
【００６８】
すなわち、壁検出手段９４は、まず、距離データメモリ８から読み出した距離画像を例えば４画素等の所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、１つの短冊状の区分に属する前記抽出された設定領域の全距離Ｌijの分布を示す図８に示すようなヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物の代表距離Ｌｎとする。これを短冊状の全区分について行う。
【００６９】
壁検出手段９４は、算出した短冊状の各区分の代表距離Ｌｎを実空間上の点に変換するようになっている。すなわち、代表距離ＬｎをＺ座標とし、そのＺ座標を前記（２）式に代入してＸ座標をそれぞれ算出する。そして、このようにしてＸ、Ｚ座標が算出された各点をＸ−Ｚ平面で表される実空間上にプロットすると、図９に示すように、変換された各点が、先行車やガードレール等の立体物のうち自車両ＭＣに面した部分に並ぶようにプロットされる。
【００７０】
壁検出手段９４は、このようにして算出した実空間上の各点についてハフ変換を行うようになっている。なお、ハフ変換は算出した実空間上のすべての点に対して行ってもよく、また、前記短冊状の各区分を距離画像の右半分と左半分とに分けてそれぞれについて行うように構成することも可能である。また、ハフ変換としては公知の手法が用いられ、例えば、下記に示す手法により行われる。
【００７１】
具体的には、例えば、短冊状の各区分の代表距離Ｌｎから変換された各点の座標を（Ｘｎ，Ｚｎ）とし、各点が基準画像Ｔ上の直線
Ｘ＝ａＺ＋ｂ …（９）
上に存在すると仮定すると、Ｘｎ、Ｚｎは、
Ｘｎ＝ａＺｎ＋ｂ …（１０）
を満たす。
【００７２】
（１０）式を変形すると、
ｂ＝−Ｚｎ×ａ＋Ｘｎ …（１１）
となる。この（１１）式から分かるように、各点（Ｘｎ，Ｚｎ）が算出されると、−Ｚｎ、Ｘｎをそれぞれ傾きおよびｂ切片としてａ−ｂ平面で表されるハフ平面上に１本の直線を引くことができる。
【００７３】
ハフ平面を予め所定の大きさに升目に区切っておき、各点（Ｘｎ，Ｚｎ）が算出され（１１）式で表される直線が引かれる度に直線が通過する升目の計数値を１増加させる。そして、短冊状の各区分について代表距離Ｌｎを実空間上の点に変換してハフ変換を行い、最終的にすべて区分について直線を算出してハフ平面の升目の加算を終了した時点で、ハフ平面の各升目の計数値について極大値を与えるａ、ｂの組、すなわちそれらを前記（９）式に代入して得られる直線を所定数抽出する。
【００７４】
例えば、図９に示した各点についてハフ変換を施すと複数の直線が得られる。壁検出手段９４は、得られた複数の直線のうち、例えば、
（ａ）直線が自車両ＭＣの内側を通ったり自車両ＭＣに非常に近いところを通る
（ｂ）直線と自車両ＭＣの挙動から推定される軌跡との平行度が低い
等の条件を満たす直線を壁としてふさわしくないとして棄却し、直線が自車両ＭＣの左右に１本ずつに絞られるまで直線の選択を行う。
【００７５】
なお、抽出された直線が前記条件を満たさなかったり、ハフ平面の各升目の計数値が閾値以下の場合には極大値であっても抽出しない等の条件が満たされないような場合には、自車両ＭＣの右側や左側あるいは両方ともに直線が選択されない場合もある。
【００７６】
壁検出手段９４は、このようにして例えば図１０に示すように自車両ＭＣの左右に１本ずつ直線ｒ１、ｌ１が選択されると、各点について自車両ＭＣに近い点から順に各点と直線ｒ１、ｌ１との実空間上の距離を算出していき、直線ｒ１、ｌ１との距離が所定値以下となる最初の点を壁候補点として抽出する。そして、壁検出手段９４は、順次自車両ＭＣから離れる方向に各点を探索していき、直線ｒ１、ｌ１との距離が所定値以下であり、最も近い自車両ＭＣ側の壁候補点との距離が所定距離以下である各点を壁候補点として抽出していく。
【００７７】
本実施形態では、このように直線ｒ１、ｌ１との距離が近い壁候補点を自車両ＭＣに近い側から順次抽出していくことで自車両に近い領域での壁を表す直線の探索を行い、自車両に近い位置で直線を確実に検出するようになっている。このようにして壁候補点の抽出が行われると、例えば図１０に示された各点からは図１１に白丸で示される壁候補点が抽出される。
【００７８】
壁検出手段９４は、以上のようにして直線ｒ１、ｌ１についてそれぞれ壁候補点を抽出し、直線ｒ１、ｌ１のうち図１２に示すように自車両ＭＣに最も近い壁候補点から最も遠い壁候補点までを自車両ＭＣに近い領域に壁を表す直線すなわち壁直線ｒ１、ｌ１として検出するようになっている。
【００７９】
壁検出手段９４は、続いて、このようにして検出した壁直線ｒ１、ｌ１を基準としてより遠方の直線状または曲線状の壁ラインを検出するようになっている。
【００８０】
この場合、例えば図１１に黒丸や白丸で示したように距離画像の短冊状の各区分について立体物までの代表距離Ｌｎから変換された実空間上の各点が整然と並ぶような場合には、図１２に示した壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い端部から順次遠方に各点を追跡していって、より遠方の直線状または曲線状の壁ラインを検出することができる。
【００８１】
具体的には、壁直線ｒ１、ｌ１に属する自車両から最も遠い壁候補点より遠方の各点を自車両に近い側から順に探索していく。そして、まず、壁直線ｒ１、ｌ１に属する自車両から最も遠い壁候補点と次の点との実空間上のＸ軸方向、Ｚ軸方向の変位が規定値以内か否かを判断する。そして、規定値以内であると判断すると、その点を壁候補点として記録する。
【００８２】
以後同様にして、図１３（Ａ）に示されるように、自車両から離れる方向に次の点を検出すると、直前に検出された壁候補点ａとのＸ軸方向、Ｚ軸方向の変位が規定値以内か否かを判断し、規定値以内であると判断すると、今回検出した点を壁候補点ｂとして記録していく。
【００８３】
また、次の点と直前に検出された壁候補点とのＸ軸方向、Ｚ軸方向の変位が規定値以内でない場合も、前回までに検出した壁候補点を結ぶ直線、すなわち、図１３（Ｂ）では壁候補点ａと壁候補点ｂとを結ぶ直線からのＸ軸方向の変位が規定値以内であれば、今回検出した点を壁候補点ｃ、ｄ、…として記録する。
【００８４】
このようにして、壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い端部から順次遠方に各点を追跡していって、より遠方の直線状または曲線状の壁ラインを検出することが可能である。
【００８５】
しかし、実際には、距離画像の短冊状の各区分について立体物までの代表距離Ｌｎを実空間上の各点に変換した場合、変換された各点が図１２に示したように整然と並ばずに、Ｘ−Ｚ平面で表される実空間上に散在するようにプロットされる場合もある。そのため、本実施形態では、壁検出手段９４は、以下の手法によってより遠方の壁ラインを検出するように構成されている。
【００８６】
すなわち、壁検出手段９４は、まず、自車両ＭＣ前方の実空間を図１４に示すように自車両の距離方向すなわちＺ軸方向と左右方向すなわちＸ軸方向に所定の大きさの格子状の複数のブロックに分割する。そして、前記壁直線の検出で検出した壁直線ｒ１、ｌ１の自車両ＭＣから最も遠い点より遠方の領域において、距離画像の短冊状の各区分について立体物までの代表距離Ｌｎから変換された実空間上の各点をあてはまるブロックにプロットしていき、各点があてはまる毎にそのブロックのプロット数を１ずつ増加させる。
【００８７】
実空間上のすべての点を各ブロックにプロットした後、例えば図１４に示す矢印で示す地点でのプロット数ｐのＸ軸方向の分布は、例えば図１５に示すような分布となる。壁検出手段９４は、このプロット数ｐの分布に対して例えば図１６に示す点数ｗのパターンを施して下記（１２）式に従って一致度Ｑを算出し、パターンをＸ軸方向に移動させながら一致度Ｑを順次算出してその最大値を探索するパターンマッチングを行うようになっている。
Ｑ＝Σｗ・ｐ …（１２）
【００８８】
壁検出手段９４は、このＸ軸方向のパターンマッチングにおいて一致度Ｑが最大になる場合のパターンの原点の位置、すなわち例えば図１５のプロット数ｐの分布に図１６の点数ｗのパターンをマッチングした場合には図１７に示すＸ軸方向の座標Ｘｒを壁候補点のＸ座標として抽出するようになっている。
【００８９】
なお、この壁候補点のＺ座標は、その壁候補点が属する実空間上のブロックの中央位置としてもよいし、ブロックの最も自車両ＭＣに近い位置としてもよい。また、自車両ＭＣの左側の壁候補点を求めたい場合には、例えば図１８に示す点数ｗのパターンを用いて同様のパターンマッチングを行うことで抽出することができる。
【００９０】
壁検出手段９４は、このようにして抽出した壁候補点を結んで折れ線状の壁ラインを検出するようになっている。壁検出手段９４は、以上のようにして検出した壁直線ｒ１、ｌ１と左右の壁ラインとをそれぞれ合わせて図１９に示すように自車両ＭＣの左右の壁の位置ＷＲ、ＷＬを検出するようになっている。また、壁検出手段９４は、このようにして検出した壁ＷＲ、ＷＬの情報をそれぞれメモリ９５に保存するようになっている。
【００９１】
なお、このようにして抽出した壁候補点を曲線状に結んで壁ラインとすることも可能である。また、抽出された壁候補点が他の壁候補点の位置から合理的な範囲内にない場合などにはその壁候補点は削除されるようになっている。また、本実施形態では距離画像の各区分の代表距離Ｌｎから変換された実空間上の各点を実空間上のブロックにプロットする場合について述べたが、距離画像の有意な距離Ｌijを有する各設定領域を実空間上の点に変換してそれを各ブロックにプロットするように構成することも可能である。
【００９２】
一方、本実施形態では、壁検出手段９４は、さらに、検出した壁ＷＲ、ＷＬが実空間上で所定の距離以上連続して検出されていない場合には検出結果を無効とするようになっている。このように、本実施形態では、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように壁が所定距離以上連続して検出されていない場合に検出結果を無効とすることで壁の誤検出を回避するようになっている。
【００９３】
具体的には、壁検出手段９４は、前述した壁直線ｒ１、ｌ１や壁ラインの検出の際に、抽出された壁候補点同士の実空間上の距離を算出し、その距離が設定された閾値以内にある壁候補点同士を結んだ場合に、自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が例えば１０ｍ等に設定された所定距離に達しない場合には、それらの壁候補点に基づいて検出された壁を無効とするようになっている。
【００９４】
例えば図１９の自車両ＭＣの左側に検出された壁ＷＬにおいて、壁ＷＬに属する自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が所定距離に達していなければ、壁ＷＬの検出結果は無効とされる。
【００９５】
また、図１９の壁ＷＲのように自車両ＭＣに最も近い壁候補点と最も遠い壁候補点との実空間上の距離が所定距離以上であっても、それらの間に隣接壁候補点同士の距離が設定された閾値より大きい地点があり、自車両ＭＣに最も近い壁候補点とその地点の自車両側の壁候補点との実空間上の距離が前記所定距離に達していなければ壁ＷＲの検出結果は無効とされる。つまり、検出された壁が所定距離以上であっても連続して所定距離以上でなければ検出結果は無効とされる。なお、検出された壁が連続しているか否かの判定は、自車両に最も近い壁候補点と最も遠い壁候補点にそれぞれ対応する画像の設定領域が、互いに所定間隔以上離れているか否かにより判定することも可能である。
【００９６】
図２に示した実施例では、図１０に示すように自車両右側の壁ＷＲに属する壁候補点において隣接する壁候補点同士の距離が設定された閾値より大きい地点はなく図１９に示した壁ＷＲは連続して所定距離以上であるから有効であり、自車両左側の壁ＷＬは所定距離に達していないため無効となる。従って、図２に示した基準画像Ｔに基づいた壁検出では自車両右側のガードレールのみが壁ＷＲとして検出され、装置外部に出力される。
【００９７】
さらに、本実施形態では、壁検出手段９４は、検出した壁が所定の速度以上の移動速度を有する場合には検出結果を無効とするようになっている。このように、本実施形態では、例えば自車両が走行する走行レーンの隣の走行レーンを走行している車両の側面等を壁として検出した場合のように検出した壁が所定速度以上の速度を有する場合に検出結果を無効とすることで壁の誤検出を回避するようになっている。
【００９８】
壁の移動速度の算出手法としては、例えば自車両と立体物との相対速度を測定するレーダ等の測定手段による相対速度の情報と車速センサからの自車両の走行速度の情報とから壁として検出された立体物の移動速度を算出することが可能である。また、図１０に示した距離画像の各区分の代表距離Ｌｎから実空間上に変換された各点の前回の検出位置と今回の検出位置との差分から自車両と壁として検出された立体物との相対速度を算出し、それと自車両の走行速度の情報とから壁として検出された立体物の移動速度を算出することも可能である。その他、壁として検出された立体物の移動速度を算出可能な手法を適宜採用することができる。
【００９９】
なお、無効とされた検出結果は、メモリ９５から削除するように構成してもよく、あるいは無効とラベルしてメモリ９５に保存するように構成してもよい。また、無効とされた検出結果を無効とラベルしたうえで外部に出力するように構成することも可能である。
【０１００】
以上のように、本実施形態に係る壁検出装置１によれば、ステレオマッチング処理により基準画像Ｔの各設定領域についてそれぞれ視差ｄｐを算出し、それに基づいて設定領域に撮像されている立体物までの距離Ｌijを精度良く算出する。
【０１０１】
そして、基準画像Ｔあるいは基準画像Ｔの各設定領域に距離Ｌijが割り付けられて形成された距離画像に基づいて、自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁の位置を検出して、自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【０１０２】
特に本実施形態のように、有意な距離Ｌijの情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点に基づいてハフ変換等の直線近似により壁を表す直線を検出することで自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となる。
【０１０３】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本実施形態に係る壁検出装置１が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【０１０４】
なお、本実施形態では、図１４等に示した実空間上のブロックを用いたパターンマッチングの手法を、壁直線ＷＲ、ＷＬが検出された後のより遠方の壁ラインの検出にのみ用いる場合について説明したが、この手法を用いて自車両に近い領域における壁直線の検出を行うように構成することも可能である。
【０１０５】
［第２の実施の形態］
第２の実施形態に係る壁検出装置は、図１に示した前記第１の実施形態に係る壁検出装置１と同様の構成であり、検出手段９における壁検出手段の構成が異なっている。以下、前記第１の実施形態と同様の構成部分については同一の符号を付して説明する。
【０１０６】
本実施形態に係る壁検出手段は、抽出手段９３で抽出された設定領域に基づいて自車両に近い領域で自車両の左右に壁直線を検出し、また、検出した壁直線を基準としてより遠方の直線状または曲線状の壁ラインを検出し、壁直線および壁ラインを合わせて自車両の左右に壁を検出する点では前記第１の実施形態と同様であるが、壁直線の検出手法が異なる。
【０１０７】
壁検出手段は、壁直線の検出において、前記第１の実施形態と同様に距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割し、１つの短冊状の区分に属する前記抽出された設定領域の全距離Ｌijについてヒストグラムを作成してその短冊状の区分における立体物の代表距離Ｌｎを算出し、算出した各代表距離Ｌｎをそれぞれ実空間上の点に変換して図９に示したように実空間上にそれらの点をプロットするようになっている。
【０１０８】
続いて、壁検出手段は、図９に示した実空間上の各点に対して、図２０に示すように近接する各点の距離や方向性に基づいて同一立体物と見なせる各点をグループＧ１〜Ｇ７にグループ化する。そして、図２１に示すように、各点が自車両の進行方向に対して垂直なＸ軸方向に対して略平行に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が自車両の進行方向であるＺ軸方向にほぼ平行に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物に該当するグループをそれぞれ“正面”および“側壁”として検出するようになっている。
【０１０９】
そして、壁検出手段は、“正面”や“側壁”として検出した各グループＧ１〜Ｇ７に属する各点をそれぞれハフ変換や最小二乗法等の手法を用いて直線近似し、自車両ＭＣに最も近い左右の側壁Ｗ１を表す直線および側壁Ｗ４を表す直線をそれぞれ壁直線Ｗ１、Ｗ４として検出するようになっている。
【０１１０】
なお、本実施形態においても壁直線の検出の際、前述したように、
（ａ）直線が自車両ＭＣの内側を通ったり自車両ＭＣに非常に近いところを通る
（ｂ）直線と自車両ＭＣの挙動から推定される軌跡との平行度が低い
等の条件を満たす直線を、壁を表す直線としてふさわしくない直線として棄却する等の処理が行われる。
【０１１１】
一方、壁直線Ｗ１、Ｗ４より遠方の壁ラインの検出については、前記第１の実施形態と同様に実空間上のブロックを用いたパターンマッチングの手法を用いて処理するように構成することが可能である。また、図２１に示すように、側壁Ｗ４の検出と同時にそれに連続するより遠方の側壁Ｗ３が検出される場合には、本実施形態の手法により検出された側壁Ｗ３を壁ラインとして検出するように構成することも可能である。
【０１１２】
本実施形態では、壁検出手段は、このようにして壁直線Ｗ１を自車両ＭＣの左側の壁の位置ＷＬ、壁直線Ｗ４と壁ラインＷ３とを合わせて自車両ＭＣの右側の壁の位置ＷＲとして検出するようになっている。また、壁検出手段はこのようにして検出した左右の壁の情報をそれぞれメモリ９５に保存するようになっている。
【０１１３】
また、本実施形態においても、検出した壁の長さと連続性および移動速度による検出結果の無効処理が行われるようになっている。そのため、本実施形態においても自車両ＭＣの左側に検出された壁ＷＬは無効とされ、結局、図２に示した基準画像Ｔに基づいた壁検出により自車両右側のガードレールのみが壁ＷＲとして検出され、装置外部に出力される。
【０１１４】
以上のように、本実施形態に係る壁検出装置によれば、前記第１の実施形態に係る壁検出装置１と同様に、ステレオマッチング処理により基準画像Ｔの各設定領域についてそれぞれ視差ｄｐを算出し、それに基づいて設定領域に撮像されている立体物までの距離Ｌijを精度良く算出する。
【０１１５】
そして、基準画像Ｔあるいは基準画像Ｔの各設定領域に距離Ｌijが割り付けられて形成された距離画像に基づいて、自車両に近い領域で壁を表す直線を確実に検出したうえで、検出された直線に基づいてより遠方の壁の位置を検出して、自車両の左右の道路脇に存在するガードレール等の壁の位置を検出する。
【０１１６】
特に本実施形態のように、有意な距離Ｌijの情報を有する設定領域のうち道路面より上方に存在する立体物に対応する設定領域を実空間上の点に変換し、実空間上の点のうち同一立体物を撮像したと見なすことができる設定領域に対応する点をグループ化して直線近似し、自車両の進行方向にほぼ平行なグループであって自車両に最も近い自車両左右の直線を壁直線として検出することで、自車両に近い領域に確実にかつ精度良く壁を表す直線を検出することが可能となる。
【０１１７】
そのため、道路脇のガードレール等の壁を確実にかつ精度良く検出することが可能となるとともに、本実施形態に係る壁検出装置が出力する壁の位置情報等に基づいて自車両の自動制御を行う自動制御システムを構築すれば、確実かつ精度良く検出された道路脇のガードレール等の壁の情報に基づいて自車両を適切かつ的確に制御することが可能となる。
【０１１８】
なお、本実施形態に示したグループ化処理を基準画像Ｔ上や距離画像上で行うように構成することも可能である。
【図面の簡単な説明】
【０１１９】
【図１】第１の実施形態に係る壁検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】本実施形態に係る検出手段の構成を示すブロック図である。
【図４】水平ラインｊ上に検出された車線候補点を説明する図である。
【図５】検出された車線候補点を示す図である。
【図６】検出された右車線位置および左車線位置を示す図である。
【図７】車線モデルの（Ａ）水平形状モデル、（Ｂ）道路高モデルを例示する図である。
【図８】設定領域の全距離の分布を示すヒストグラムを説明する図である。
【図９】設定領域から変換された各点を実空間上にプロットした図である。
【図１０】壁検出手段で自車両の左右に選択された直線を示す図である。
【図１１】図１０に示した各点から抽出された壁候補点を説明する図である。
【図１２】検出された壁直線を示す図である。
【図１３】実区間上の点を壁候補点として記録する条件を説明する図である。
【図１４】複数のブロックに分割された実空間を説明する図である。
【図１５】プロット数のＸ軸方向の分布を示すグラフである。
【図１６】パターンマッチングに用いる点数のパターンを示す図である。
【図１７】パターンマッチングの結果抽出された壁候補点のＸ座標を示す図である。
【図１８】図１６とは反対側の壁候補点を抽出するための点数のパターンを示す図である。
【図１９】検出された壁の位置を示す図である。
【図２０】第２の実施形態において図９の各点をグループ化して形成された各グループを示す図である。
【図２１】グループ化された正面と側壁および検出された壁の位置を示す図である。
【符号の説明】
【０１２０】
１ 壁検出装置
２ 撮像手段
６ 画像処理手段
９３ 抽出手段
９４ 壁検出手段
Ｔ 基準画像（一方の画像）
Ｌij 距離
ＷＲ、ＷＬ 壁の位置
ＭＣ 自車両
ｒ１、ｌ１ 壁を表す直線
Ｇ１〜Ｇ７ グループ
ｐ プロット数
【特許請求の範囲】
【請求項１】
道路を含む自車両の進行路を撮像して一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
前記距離の情報に基づいて道路面より上方に存在するとみなすことができる前記設定領域を抽出する抽出手段と、
抽出された前記設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線を検出し、前記壁を表す直線を基準としてより遠方の直線状または曲線状の壁のラインを検出し、前記壁を表す直線および前記壁のラインを合わせて壁の位置を検出する壁検出手段と
を備えることを特徴とする壁検出装置。
【請求項２】
前記壁検出手段は、検出した前記壁が所定の距離以上連続して検出されていない場合には検出結果を無効とすることを特徴とする請求項１に記載の壁検出装置。
【請求項３】
前記壁検出手段は、検出した前記壁が所定の速度以上の移動速度を有する場合には検出結果を無効とすることを特徴とする請求項１または請求項２に記載の壁検出装置。
【請求項４】
前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換し、前記実空間上の点に基づいて少なくとも前記壁を表す直線を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の壁検出装置。
【請求項５】
前記壁検出手段は、前記抽出された設定領域のうち同一立体物を撮像したと見なすことができる設定領域をグループ化し、自車両の進行方向に対して所定の傾きを有するグループの前記一方の画像上の位置または実空間上の位置に基づいて少なくとも前記壁を表す直線を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の壁検出装置。
【請求項６】
前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換して、前記点を自車両の距離方向および左右方向に格子状に分割された前記実空間上の各ブロックにプロットし、前記実空間上の各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて前記壁を表す直線または前記壁のラインを検出することを特徴とする請求項１から請求項５のいずれか一項に記載の壁検出装置。
【請求項１】
道路を含む自車両の進行路を撮像して一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
前記距離の情報に基づいて道路面より上方に存在するとみなすことができる前記設定領域を抽出する抽出手段と、
抽出された前記設定領域に基づいて自車両に近い領域で自車両の左右に壁を表す直線を検出し、前記壁を表す直線を基準としてより遠方の直線状または曲線状の壁のラインを検出し、前記壁を表す直線および前記壁のラインを合わせて壁の位置を検出する壁検出手段と
を備えることを特徴とする壁検出装置。
【請求項２】
前記壁検出手段は、検出した前記壁が所定の距離以上連続して検出されていない場合には検出結果を無効とすることを特徴とする請求項１に記載の壁検出装置。
【請求項３】
前記壁検出手段は、検出した前記壁が所定の速度以上の移動速度を有する場合には検出結果を無効とすることを特徴とする請求項１または請求項２に記載の壁検出装置。
【請求項４】
前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換し、前記実空間上の点に基づいて少なくとも前記壁を表す直線を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の壁検出装置。
【請求項５】
前記壁検出手段は、前記抽出された設定領域のうち同一立体物を撮像したと見なすことができる設定領域をグループ化し、自車両の進行方向に対して所定の傾きを有するグループの前記一方の画像上の位置または実空間上の位置に基づいて少なくとも前記壁を表す直線を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の壁検出装置。
【請求項６】
前記壁検出手段は、前記抽出された設定領域を実空間上の点に変換して、前記点を自車両の距離方向および左右方向に格子状に分割された前記実空間上の各ブロックにプロットし、前記実空間上の各ブロックのプロット数を自車両の左右方向にパターンマッチングして得られた壁の位置に基づいて前記壁を表す直線または前記壁のラインを検出することを特徴とする請求項１から請求項５のいずれか一項に記載の壁検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００８−５９３２３（Ｐ２００８−５９３２３Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３５９９７（Ｐ２００６−２３５９９７）
【出願日】平成１８年８月３１日（２００６．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年８月３１日（２００６．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]