走行誘導障害物検出装置および車両用制御装置
【課題】自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能な走行誘導障害物検出装置を提供する。
【解決手段】走行誘導障害物検出装置１は、自車両前方の道路を含む風景を撮像して画素ごとに輝度値ｐ１ijを有する一対の画像を出力する撮像手段２と、撮像された一対の画像に基づいて少なくとも一方の画像Ｔの各画素について実空間における距離Ｚijを算出する画像処理手段６と、輝度値ｐ１ijおよび距離Ｚijの情報に基づいて一方の画像Ｔから立体物Ｓｎを検出し、立体物Ｓｎの実空間上の大きさを算出する検出手段９とを備え、検出手段９は、立体物Ｓｎの実空間上の大きさが予め設定された閾値以内で、かつ一方の画像Ｔ中に検出された立体物Ｓｎの上下方向の輝度変化が一定のパターンを有する場合にその立体物Ｓｎを走行誘導障害物Ｋｎとして検出する。
【解決手段】走行誘導障害物検出装置１は、自車両前方の道路を含む風景を撮像して画素ごとに輝度値ｐ１ijを有する一対の画像を出力する撮像手段２と、撮像された一対の画像に基づいて少なくとも一方の画像Ｔの各画素について実空間における距離Ｚijを算出する画像処理手段６と、輝度値ｐ１ijおよび距離Ｚijの情報に基づいて一方の画像Ｔから立体物Ｓｎを検出し、立体物Ｓｎの実空間上の大きさを算出する検出手段９とを備え、検出手段９は、立体物Ｓｎの実空間上の大きさが予め設定された閾値以内で、かつ一方の画像Ｔ中に検出された立体物Ｓｎの上下方向の輝度変化が一定のパターンを有する場合にその立体物Ｓｎを走行誘導障害物Ｋｎとして検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行誘導障害物検出装置および車両用制御装置に係り、特に、自車両前方の撮像画像中から車線分離標やパイロン等の走行誘導障害物を検出する走行誘導障害物検出装置とそれを用いた車両用制御装置に関する。
【背景技術】
【０００２】
乗用車等の車両における走行の安定性や安全性の向上等に向けての自動制御を行うためには、自車両の左右の道路面上に標示された車線や自車両の前方に存在する先行車や駐車車両、歩行者等の立体物等をできるだけ正確に検出して自車両の走行環境を的確に認識することが必要となる。
【０００３】
そのため、近年、自車両前方の撮像画像中から車線を認識したり（例えば特許文献１等参照）、道路形状を認識したり（例えば特許文献２、３等参照）、走行レーン上またはその周辺の立体物や車両を認識する（例えば特許文献２、４〜６等参照）等の技術が開発されている。
【０００４】
なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、車線と車線との間の車両が走行する車両通行帯を走行レーンという。また、図１７（Ａ）に示すような車線分離標や、図１７（Ｂ）に示すような道路上に置かれたカラーコーン（登録商標）とも呼ばれるパイロン等を、車両の走行を誘導する障害物を表すものとして走行誘導障害物という。
【特許文献１】特開２００１−９２９７０号公報
【特許文献２】特開平５−２６５５４７号公報
【特許文献３】特開平１１−２０３４５８号公報
【特許文献４】特開平１０−２８３４６１号公報
【特許文献５】特開平１０−２８３４７７号公報
【特許文献６】特開２００６−４７０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、自車両の走行レーン上またはその周辺に配置される走行誘導障害物のうち、車線分離標は、例えば車道中央線を表す標識として車線の代わりに道路中央に立設されている場合がある。このような場合には、車線分離標を検出して初めて走行レーンの右端位置を認識することが可能となり、それに沿うようにキープレーン制御等の自動制御を行うことが可能となる。
【０００６】
また、道路工事や土木工事等でパイロンが走行レーン内に置かれている場合には、自車両の左側や右側の車線に沿うのではなく、そのパイロンの配置位置を正確に検出してそのパイロンの誘導に従ってパイロンに沿うように制御を行わなければ適切に自車両を走行させることができない。
【０００７】
一方、自車両の周囲に存在する車両を認識する技術においてはレーダ装置が用いられることが多い。レーダから発射された電波は、図１７（Ａ）、（Ｂ）に示した車線分離標やパイロンの表面に塗布され或いは巻きつけられた反射材Ｒに強く反射されるため、車両に搭載される安価なレーダでは車線分離標やパイロン等の走行誘導障害物を車両であると誤認識してしまう場合がある。
【０００８】
そのため、道路上に静止した走行誘導障害物を車両と誤認識してそれとの衝突を避けるために自車両を自動的に停止させてしまったり、或いは車線分離標やパイロン等の走行誘導障害物に沿うように走行させることができなくなるという問題が生じる。このように、自車両の前方に存在する立体物の中から特に走行誘導障害物を誤認識することなく走行誘導障害物として検出することを可能とする技術の開発が望まれる。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能な走行誘導障害物検出装置を提供することを目的とする。また、この走行誘導障害物検出装置を有効に用いた車両用制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の問題を解決するために、第１の発明は、
走行誘導障害物検出装置において、
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする。
【００１１】
第２の発明は、第１の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに前記一方の画像中に走行誘導障害物として検出された複数の立体物の配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。
【００１２】
第３の発明は、第１の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに自車両の挙動により前記一方の画像中に見出されなくなった過去の走行誘導障害物の位置を前記自車両の挙動に基づいて更新して記録し、前記過去の走行誘導障害物の位置と、前記一方の画像中に走行誘導障害物として検出された立体物の位置との配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上またはその近傍にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。
【００１３】
第４の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする。
【００１４】
第５の発明は、第４の発明の車両用制御装置において、前記制御装置は、自車両から見て前記走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外することを特徴とする。
【００１５】
第６の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする。
【００１６】
第７の発明は、第６の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする。
【００１７】
第８の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする。
【００１８】
第９の発明は、第８の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする。
【００１９】
第１０の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする。
【００２０】
第１１の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線逸脱の回避制御を停止することを特徴とする。
【００２１】
第１２の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線追従制御を停止することを特徴とする。
【００２２】
第１３の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、自車両が前記パイロンに沿って走行するように追従制御を行うことを特徴とする。
【発明の効果】
【００２３】
第１の発明によれば、前記一方の画像中に検出された立体物の幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。
【００２４】
第２の発明によれば、自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに除外されてしまった立体物について、立体物の実空間上の位置を算出して検出された複数の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断して走行誘導障害物として適切に検出することが可能となり、前記発明の効果がより的確に発揮される。
【００２５】
第３の発明によれば、一方の画像中に検出された複数の走行誘導障害物のみならず、自車両の挙動により一方の画像中に見出されなくなった過去の走行誘導障害物を追跡してその配置を含めて直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出することで、前記第２の発明の効果をより効果的に発揮させることが可能となる。
【００２６】
第４の発明によれば、前述したようにレーダ装置等を用いる場合、走行誘導障害物を例えば車両であると誤認識してしまう場合があるが、本発明の走行誘導障害物検出装置を用い、レーダ装置等で抽出された立体物の情報と走行誘導障害物検出装置で検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を車両等と誤認識することを確実に防止することが可能となる。
【００２７】
第５の発明によれば、立体物の中から走行誘導障害物を特定し、その外側にある立体物を立体物との距離を調整する制御の制御制御の対象から除外することで、前記発明の効果に加え、制御のための演算処理を軽減することが可能となり、制御装置の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。
【００２８】
第６の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して走行誘導障害物に接触したり車線を逸脱することを適切に防止することが可能となる。
【００２９】
第７の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。
【００３０】
第８の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように車線追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。
【００３１】
第９の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。
【００３２】
第１０の発明によれば、走行誘導障害物検出装置において車線分離標とパイロンとを区別して検出し、検出した走行誘導障害物がパイロンであることを判断することで、自車両が走行中の道路が道路工事や土木工事等のために工事中であることを的確に判断することが可能となり、適切な車両制御を行うことが可能となる。
【００３３】
第１１の発明によれば、道路が工事中であれば自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、自車両が走行中の道路が工事中であると判断した場合には車線逸脱の回避制御を停止することで、ドライバが意図的に車線を逸脱しようとする場合には車線逸脱の回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【００３４】
第１２の発明によれば、自車両が走行中の道路が工事中であると判断した場合にもドライバはパイロンに衝突しないように意図的に車線を逸脱しようとするが、前記と同様に、そのような場合に車線に対する追従制御を停止することで、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【００３５】
第１３の発明によれば、自車両が走行誘導障害物検出装置により検出されたパイロンに沿って走行するように応動部に指示信号を発して追従制御を行うため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明に係る走行誘導障害物検出装置および車両用制御装置の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施の形態］
まず、走行誘導障害物検出装置について説明する。本実施形態に係る走行誘導障害物検出装置１は、図１に示すように、主に撮像手段２と、画像処理手段６と、検出手段９とで構成されている。
【００３８】
撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。
【００３９】
メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。
【００４０】
メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。そして、前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として、また距離等を求めるために比較される画像から変換されたデジタル画像が比較画像として出力されるようになっている。
【００４１】
Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されている。画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。
【００４２】
なお、例えば、基準画像Ｔは図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度値からなる画像データとして、比較画像は図示を省略するが水平方向が６４０画素、垂直方向が２００画素分の輝度値からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納され、同時に検出手段９に送信されるようになっている。
【００４３】
前述したように、本実施形態では、メインカメラ２ａ等にＣＣＤカメラが用いられている。メインカメラ２ａやサブカメラ２ｂは、自車両前方の風景を下側から順に水平方向にライン状に走査して撮像し、各水平ラインごとに撮像されたデータを順次変換手段３に送信する。そして、変換手段３で送信させてきた水平ラインの各画素ごとに撮像データを所定の輝度階調の輝度値に変換され、画像補正部４で画像補正が行われた後、各水平ラインごとの画像データが画像データメモリ５に格納されると同時に検出手段９に順次送信されるようになっている。
【００４４】
また、画像データメモリ５には、メインカメラ２ａとサブカメラ２ｂから一定の時間間隔をおいて送信され、画像補正等を受けた画像のデジタルデータが時系列的に格納されるようになっている。
【００４５】
画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。
【００４６】
イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素で構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄを算出するようになっている。この視差ｄの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。
【００４７】
イメージプロセッサ７は、５１２×２００画素を有する基準画像Ｔについて４×４画素の画素ブロックごとに１つの視差ｄを算出するようになっている。１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、その１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。
【００４８】
なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。
【００４９】
イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像Ｔを４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅の水平ラインに分割する。そして、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
【００５０】
なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度値を表す。また、本実施形態では、前述したように画像補正部４から水平ラインごとの画像データが出力されるため、イメージプロセッサ７では、水平ライン４本分の画像データが入力されるごとに前記４×４画素の画素ブロックに対するステレオマッチング処理を行うようになっている。
【００５１】
イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。
【００５２】
この視差ｄは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄとを三角測量の原理に基づいて対応付けることができる。
【００５３】
具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、画像上の点（ｉ，ｊ，ｄ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄ−ＤＰ）） …（４）
【００５４】
すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離と視差ｄとは、前記（４）式のＺを距離とすることで一意に対応付けられる。ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００５５】
また、イメージプロセッサ７は、視差ｄの信頼性を向上させる目的から、このようにして求めた視差ｄに対してフィルタリング処理を施し、有効とされた視差ｄのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄが算出されてもその視差ｄの信頼性は低い。そのため、そのような視差ｄは前記フィルタリング処理で無効とされ、視差ｄの値として０を出力するようになっている。
【００５６】
したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｚ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。
【００５７】
イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄは距離データとして画像処理手段６の距離データメモリ８に格納されるようになっている。また、距離データメモリ８には、イメージプロセッサ７から一定の時間間隔をおいて送信されてくる距離データが時系列的に格納されるようになっている。
【００５８】
なお、下記の検出手段９における処理では、基準画像Ｔの１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の視差ｄを有する独立した画素として処理されるようになっている。なお、以下、距離データメモリ８に記憶されている各画素に視差ｄが割り付けられた擬似画像を距離画像という。
【００５９】
検出手段９は、車線検出手段９１と、立体物検出手段９２と、走行誘導障害物検出手段９３と、過去障害物更新手段９４とを備えている。
【００６０】
また、検出手段９には、図示しないＩ／Ｏインターフェースを介して車速センサやヨーレートセンサ等のセンサ類Ａが接続されており、センサ類Ａから車速Ｖやヨーレートγ等が入力されるようになっている。なお、ヨーレートセンサを用いる代わりに、例えば、特開２００４−２４９８１２号公報に記載の車両運動モデル生成装置等のヨーレート推定装置を接続することも可能である。
【００６１】
車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｚijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。
【００６２】
車線検出手段９１は、基準画像Ｔから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１は前記特許文献１等に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。
【００６３】
車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の視差ｄの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図３に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。
【００６４】
その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の視差ｄの情報に基づいて各画素の距離Ｚijを算出し、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。
【００６５】
車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図４に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を除外して残りの車線候補点を結ぶことで、図５に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。
【００６６】
なお、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。
【００６７】
車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬの情報を図示しないメモリに保存するとともに、装置外に出力するようになっている。
【００６８】
立体物検出手段９２は、距離画像の各画素の視差ｄから算出される実空間における距離Ｚijに基づいて基準画像Ｔ上に立体物を検出するようになっている。立体物検出手段９２は、道路面より高い位置に存在する立体物を精度良く検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、立体物検出手段９２は前記特許文献５等に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。
【００６９】
立体物検出手段９２は、まず、距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、短冊状の各区分に属する各画素の視差ｄから各画素について距離Ｚijを算出し、道路面より高い位置に存在すると位置付けられる距離Ｚijに関するヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分に含まれる立体物の距離とする。これを全区分について行う。
【００７０】
例えば、図２に示した基準画像Ｔに対応する距離画像を短冊状の区分に分割して得られた各区分の距離を実空間上の点に変換すると、図６に示すように、立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点がプロットされる。
【００７１】
立体物検出手段９２は、図７に示すように、各点の距離や方向性に基づいて各点をグループＧ１〜Ｇ７にグループ化し、図８に示すように、各点が略Ｘ軸方向に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が略Ｚ軸方向に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物を“正面”および“側壁”として検出するようになっている。
【００７２】
ここで、Ｘ軸方向とは自車両の進行方向に向かって垂直の車幅方向すなわち左右方向、Ｚ軸方向とは車長方向すなわち前後方向をいい、原点はメインカメラ２ａおよびサブカメラ２ｂの中央位置の真下の道路面上の点にとられる。なお、Ｙ軸方向は車高方向すなわち上下方向をいう。
【００７３】
立体物検出手段９２は、図８中の正面Ｏ１と側壁Ｗ１のように、“正面”と“側壁”とがそれぞれ１つの立体物に属する場合には、“正面”と“側壁”との組み合わせを立体物Ｓとして認識し、正面Ｏ１と側壁Ｗ１との境目のような立体物の角部をコーナー点Ｃとして算出するように構成されている。
【００７４】
このようにして検出された正面Ｏｎ、側壁Ｗｎおよび立体物Ｓｎを枠線で囲うようにして基準画像Ｔに重ねて表示させた場合には、図９に示すような画像として表示される。なお、以下では、正面Ｏｎ、側壁Ｗｎおよび立体物Ｓｎをあわせて立体物Ｓｎという。
【００７５】
立体物検出手段９２は、このようにして検出した各立体物Ｓｎのグループのそれぞれ左端と右端の座標および高さの情報等をメモリに保存するとともに、装置外に出力するようになっている。
【００７６】
走行誘導障害物検出手段９３は、立体物検出手段９２により検出された各立体物Ｓｎの中から図１７（Ａ）、（Ｂ）に示したような反射材Ｒが塗布され或いは巻きつけられた走行誘導障害物を検出するようになっている。
【００７７】
具体的には、例えば図１０に示すような車両や車線、車線分離標等が撮像された基準画像Ｔから前記立体物検出手段９２により検出された図１１に示すような立体物Ｓ１〜Ｓ１５に対して、走行誘導障害物検出手段９３は、各立体物Ｓｎのグループの左端から右端までの実空間上の距離すなわち各立体物Ｓｎの幅を算出するようになっている。なお、図１０および図１１では、立体物Ｓ１〜Ｓ５等で表される車線分離標の白黒の縞模様の明暗が実際とは逆に示されている。
【００７８】
そして、走行誘導障害物検出手段９３は、立体物Ｓｎの大きさによる選別を行うようになっている。すなわち、立体物Ｓｎの幅が予め設定された閾値内にあり、かつ、高さが予め設定された閾値内にある立体物Ｓｎを選別し、他の立体物Ｓｎを除外するようになっている。
【００７９】
本実施形態では、走行誘導障害物の幅の閾値および高さの閾値は、走行誘導障害物が図１０等に示した車線分離標である場合とパイロンである場合とで別々に設けられている。車線分離標は、通常、パイロンよりも細く、高さも異なることから、それぞれの閾値はそれらを区別できるように適宜設定される。
【００８０】
走行誘導障害物検出手段９３は、続いて、前記大きさによる選別で該当するとして選別された立体物Ｓｎのそれぞれについて、輝度パターンによる選別を行うようになっている。輝度パターンの検出では、走行誘導障害物検出手段９３は、図１２に示すように、選別された立体物Ｓｎの左右端の中心を上端から下方に向かって１画素ずつオフセットしながら各画素の輝度値ｐ１ijを検出し、さらに各画素の輝度値ｐ１ijとその直下の画素の輝度値との差分Δｐをとるようになっている。
【００８１】
続いて、走行誘導障害物検出手段９３は、図１２中にＱで示される輝度値の差分Δｐが大きく変化する画素部分を走行誘導障害物の反射材がある明部Ｂと反射材がない暗部Ｄとの境界として検出し、境界の画素以外の画素部分で各明部Ｂおよび各暗部Ｄの輝度値の平均値ｐｂｎave、ｐｄｎaveをそれぞれ算出する。
【００８２】
そして、すべての明部Ｂについて各明部Ｂの輝度平均値ｐｂｎaveの分布を求めてその最大値と最小値の差Δｐｂを算出する。また、すべての暗部Ｄについても各暗部Ｄの輝度平均値ｐｄｎaveの分布を求めてその最大値と最小値の差Δｐｄを算出する。さらにすべての明部Ｂの輝度平均値ｐｂaveとすべての暗部Ｄの輝度平均値ｐｄaveを算出する。
【００８３】
走行誘導障害物検出手段９３は、各明部Ｂについての輝度平均値の最大値と最小値の差Δｐｂおよび各暗部Ｄについての輝度平均値の最大値と最小値の差Δｐｄがいずれも所定の規定値以内であり、かつ、すべての明部Ｂの輝度平均値ｐｂaveとすべての暗部Ｄの輝度平均値ｐｄaveとの差が所定の規定値以上である場合に、その立体物Ｓｎが走行誘導障害物に特有の輝度の繰り返しパターンを有すると判定するようになっている。そして、そのような輝度パターンを有する立体物Ｓｎを走行誘導障害物として選別するようになっている。
【００８４】
走行誘導障害物検出手段９３は、さらに距離画像に基づいて、走行誘導障害物として選別された立体物Ｓｎの各明部Ｂの上下方向の実空間上の長さが反射材として一般的に採用される長さと大きく異なる場合には、その立体物Ｓｎを走行誘導障害物から除外するようになっている。
【００８５】
走行誘導障害物検出手段９３は、このようにして最終的に選別されて生き残った立体物Ｓｎを走行誘導障害物として検出するようになっている。
【００８６】
また、走行誘導障害物検出手段９３は、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外した立体物Ｓｎのうち、検出された走行誘導障害物Ｋｎの配置から見て走行誘導障害物である判断される立体物Ｓｎを改めて走行誘導障害物として検出するようになっている。
【００８７】
本実施形態では、走行誘導障害物検出手段９３は、前記のようにして走行誘導障害物として検出した立体物Ｓｎの実空間上の位置と、後述する過去障害物更新手段９４により更新され記録されている過去の走行誘導障害物の実空間上の位置との配置に基づいてより遠方の立体物Ｓｎが走行誘導障害物であるか否かを判断して検出するようになっている。
【００８８】
具体的には、図１３に示すように、前記輝度パターンによる選別により検出された走行誘導障害物Ｋ１〜Ｋ３の位置と、自車両の挙動により基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐより手前側に移動してしまったために基準画像Ｔ上に見出されなくなった過去の走行誘導障害物Ｋus１〜Ｋus３の位置の配置に対して最小自乗法を施して曲線Ｃで曲線近似するようになっている。なお、本実施形態では曲線Ｃを２次曲線として近似するが、例えばハフ変換等により直線近似することも可能である。
【００８９】
続いて、曲線Ｃを自車両ＭＣから遠方に延長し、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外された立体物Ｓｎのうち、延長された曲線Ｃ上または曲線Ｃから所定距離以内にある立体物Ｓｎを改めて走行誘導障害物Ｋｎとして検出するようになっている。
【００９０】
走行誘導障害物検出手段９３は、このようにして検出した各走行誘導障害物Ｋｎの情報等をメモリに保存するとともに、装置外に出力するようになっている。
【００９１】
過去障害物更新手段９４は、自車両の挙動により基準画像Ｔ中に見出されなくなった過去の走行誘導障害物Ｋusを追跡して記録し、それらの実空間上の座標を自車両の挙動に基づいて次回の検出タイミングにおける座標に更新するようになっている。
【００９２】
例えば、図１０等に示されている走行誘導障害物Ｋ１は、自車両が前進したり転回したりすると、基準画像Ｔ中には見出されなくなる。しかし、立体物検出手段９２により走行誘導障害物Ｋ１の実空間上の座標が検出されている。
【００９３】
そこで、本実施形態では、過去障害物更新手段９４は、車速センサおよびヨーレートセンサから送信されてくる現在の車速Ｖおよびヨーレートγで自車両ＭＣが前進や転回した場合に、走行誘導障害物Ｋ１だった走行誘導障害物すなわち自車両の挙動で基準画像Ｔ中に見出されなくなり過去の走行誘導障害物Ｋus１となる走行誘導障害物の座標が次回の撮像タイミングではどの位置になるかを算出するようになっている。
【００９４】
本実施形態では、過去障害物更新手段９４は、過去の走行誘導障害物として３個の走行誘導障害物の座標を記憶するようになっており、このように新たに走行誘導障害物を過去の走行誘導障害物として記憶すると、最も過去の走行誘導障害物すなわち図１３の例で言えば過去の走行誘導障害物Ｋus３の記録を抹消するようになっている。
【００９５】
また、過去障害物更新手段９４は、他の過去の走行誘導障害物の座標についても現在の車速Ｖおよびヨーレートγに基づいて次回の撮像タイミングにおける座標を算出して更新するようになっている。なお、上記のように新たに過去の走行誘導障害物Ｋus１が記録される場合、図１３の過去の走行誘導障害物Ｋus１、Ｋus２はそれぞれ過去の走行誘導障害物Ｋus２、Ｋus３としてその座標が更新される。
【００９６】
過去障害物更新手段９４は、このようにして更新した過去の走行誘導障害物Ｋus１〜Ｋus３の座標をメモリに保存するようになっている。これらの座標を装置外に出力するように構成することも可能である。
【００９７】
次に、本実施形態に係る走行誘導障害物検出装置１の作用について説明する。
【００９８】
走行誘導障害物検出装置１の検出手段９の走行誘導障害物検出手段９３は、立体物検出手段９２により例えば図１１に示した基準画像Ｔ中から立体物Ｓ１〜Ｓ１５が検出されると、それらの立体物Ｓ１〜Ｓ１５に対して、各立体物Ｓｎのグループの幅と高さがそれぞれ予め設定された閾値内にある立体物Ｓ１〜Ｓ５と立体物Ｓ１４を選別し、他の立体物Ｓｎを除外する。
【００９９】
走行誘導障害物検出手段９３は、続いて、選別された立体物Ｓ１〜Ｓ５と立体物Ｓ１４に対して前述したような輝度パターンによる選別を行い、立体物の上下方向の輝度変化が一定のパターンを有する立体物Ｓ１〜Ｓ３を走行誘導障害物Ｋ１〜Ｋ３として検出し、立体物Ｓ４、Ｓ５、Ｓ１４を除外する。
【０１００】
しかし、除外された立体物Ｓ４、Ｓ５、Ｓ１４は、自車両ＭＣから遠くにある等のために走行誘導障害物であるが輝度パターンが明確に見えなくなっているだけである可能性が残る。
【０１０１】
そのため、走行誘導障害物検出手段９３は、検出した走行誘導障害物Ｋ１〜Ｋ３の配置や過去障害物更新手段９４により自車両の挙動に基づいて位置が更新されている過去の走行誘導障害物Ｋus１〜Ｋus３の配置に基づいてそれらの並び方の形状を直線または曲線で近似し、その直線または曲線の延長線上にある立体物Ｓ４、Ｓ５を走行誘導障害物Ｋ４、Ｋ５であるとして検出する。
【０１０２】
立体物Ｓ１４は、近似された直線または曲線から大きく離れているため走行誘導障害物としては検出されない。
【０１０３】
なお、例えば、輝度パターンによる選別の結果、立体物Ｓ２が走行誘導障害物として検出されず立体物Ｓ１とＳ３のみが走行誘導障害物として検出された場合、立体物Ｓ２は、走行誘導障害物Ｓ１とＳ２の配置に基づく近似直線または近似曲線上或いはその近傍に存在する立体物と判定されるため、改めて走行誘導障害物Ｓ２として検出される。
【０１０４】
以上のように、本実施形態に係る走行誘導障害物検出装置１によれば、基準画像Ｔ中に検出された立体物Ｓｎについて幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。
【０１０５】
そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。
【０１０６】
また、大きさによる選別では選別されたが自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに前記走行誘導障害物の検出において除外されてしまった立体物Ｓｎについて、検出された走行誘導障害物や基準画像Ｔに見出されなくなった過去の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。
【０１０７】
そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断し、走行誘導障害物として適切に検出することが可能となる。
【０１０８】
なお、本実施形態では、基準画像Ｔ上に検出された走行誘導障害物Ｋｎの位置と過去の走行誘導障害物Ｋusｎの位置との配置に基づいて直線近似や曲線近似によって輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出することについて述べた。しかし、基準画像Ｔ上に検出された走行誘導障害物Ｋｎの配置のみに基づいて直線近似や曲線近似を行うように構成することも可能であり、また、基準画像Ｔ上に走行誘導障害物Ｋｎが検出されない場合でも、過去の走行誘導障害物Ｋusｎの配置のみに基づいて直線近似や曲線近似を行って基準画像Ｔ上の輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出するように構成することも可能である。
【０１０９】
［第２の実施の形態］
次に、以下の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた種々の車両用制御装置について説明する。
【０１１０】
第２の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた車線逸脱防止装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置１０は、図１４に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置１１と、警報装置１２とを備えている。
【０１１１】
制御装置１１は、自車両が走行誘導障害物検出装置１により検出された左右いずれかの車線位置を逸脱する可能性があると判断した場合に、接続された警報装置１２にそのスピーカ等から警報を発するように指示を出すようになっている。なお、車線検出手段を前記第１の実施形態に係る走行誘導障害物検出装置１とは別の装置として設けることも可能である。
【０１１２】
また、制御装置１１は、走行誘導障害物検出装置１により検出された走行誘導障害物に自車両が所定距離以内に接近している場合にも、接続された警報装置１２にそのスピーカ等から警報を発するように指示を出すようになっている。
【０１１３】
さらに、制御装置１１は、走行誘導障害物検出装置１により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めるようになっている。
【０１１４】
このように、本実施形態に係る車両用制御装置１０によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して車線逸脱を適切に防止することが可能となる。
【０１１５】
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。
【０１１６】
なお、警報を発する代わりに或いはそれと並行して、自車両を自動的に走行レーンに引き戻すように各種アクチュエータ等を自動制御するように構成することも可能である。
【０１１７】
［第３の実施の形態］
第３の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた追従支援装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置２０は、図１５に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置２１とを備えており、制御装置２１には、ステアリングサーボ機能を有する制御システムを含む応動部Ｂが接続されている。
【０１１８】
制御装置２１は、自車両が走行誘導障害物検出装置１により検出された左右の車線位置に区画される走行レーン内を走行するように、自車両が走行すべきラインを設定し或いは自車両の所定距離前方に目標点を設定し、応動部Ｂに指示信号を発して車線に対する追従制御を行うようになっている。
【０１１９】
また、制御装置２１は、自車両が走行誘導障害物検出装置１により検出された走行誘導障害物に沿って走行するように応動部Ｂに指示信号を発して走行誘導障害物に対する追従制御を行うようになっている。
【０１２０】
さらに、制御装置２１は、走行誘導障害物検出装置１により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも車線からの離間距離を拡大して走行レーンの中央に近い位置を走行するように自車両の走行を制御するようになっている。
【０１２１】
このように、本実施形態に係る車両用制御装置２０によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。
【０１２２】
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。
【０１２３】
［第４の実施の形態］
第１の実施形態に係る走行誘導障害物検出装置１は、走行誘導障害物の幅の閾値および高さの閾値を適切に設定することで、車線分離標とパイロンとを区別して検出することができる。
【０１２４】
そのため、前記第２および第３の実施形態に係る車両用制御装置１０、２０の制御装置１１、２１で、パイロンを検出するように前記閾値を設定し、車線の内側やその近傍に検出された立体物がパイロンである場合には、自車両が走行中の道路が道路工事や土木工事等のために工事中であると判断するように構成することができる。
【０１２５】
そして、道路が工事中であれば、自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、第２の実施形態に係る車線逸脱防止装置としての車両用制御装置１０において、制御装置１１を、自車両が走行中の道路が工事中であると判断した場合には車線逸脱回避制御を停止するように構成することができる。
【０１２６】
このように構成すれば、道路が工事中でドライバが意図的に車線を逸脱しようとする場合には車線逸脱回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【０１２７】
また、第３の実施形態に係る車線追従支援装置としての車両用制御装置２０では、制御装置２１は、自車両が走行誘導障害物検出装置１により検出されたパイロンに沿って走行するように応動部Ｂに指示信号を発して走行誘導障害物に対する追従制御を行う。そのため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。
【０１２８】
なお、第３の実施形態に係る車線追従支援装置としての車両用制御装置２０で、制御装置２１が、自車両を走行誘導障害物検出装置１により検出されたパイロンに沿って走行させるように構成されていない場合には、車線追従制御を停止するように構成することが好ましい。このように構成すれば、ドライバがパイロンに衝突しないように車線を逸脱しようとする場合に、自車両が無理に元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【０１２９】
［第５の実施の形態］
第５の実施形態に係る車両用制御装置３０は、図１６に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置３１と、情報収集手段３２としてのレーダ装置とを備えている。本実施形態に係る車両用制御装置３０は、例えば、自車両の周囲の先行車を検出するための先行車検出装置として用いることができる。
【０１３０】
レーダ装置は自車両の先端に設けられており、例えば３０ＧＨｚから１００ＧＨｚの電波を自車両周囲に送信し、反射されて戻ってくる電波を受信することで、自車両周囲の立体物の位置や大きさ等の情報を収集するようになっている。レーダ装置は、送受信データを制御装置３１に送信するようになっている。
【０１３１】
制御装置３１は、レーダ装置から送信されてくる送受信データに基づいて電波が立体物に反射されて戻ってくるまでの時間差を計測し、自車両から立体物までの相対距離を算出するようになっている。また、前記相対距離の分布状態から、同一の距離の値が連続する部分を１つの立体物として抽出し、図示しないメモリに記録するようになっている。
【０１３２】
また、制御装置３１は、前回抽出された立体物のデータをメモリから読み出して、今回抽出した立体物と同一である確率を求め、確率が予め設定された閾値以上であれば今回抽出したデータで立体物のデータを更新して立体物として継続登録するようになっている。また、対応する過去のデータがない場合には新たな立体物として登録するようになっている。
【０１３３】
さらに、制御装置３１は、走行誘導障害物検出装置１から送信されてくる走行誘導障害物の位置等の情報と、レーダ装置からの送受信データに基づいて収集された立体物の位置等の情報とを対照して、位置がほぼ一致し、大きさが所定範囲内で対応する場合には、レーダ装置からの送受信データに基づいて収集された立体物を走行誘導障害物として認識し、その立体物に走行誘導障害物としてラベル付けをしてメモリに記録するようになっている。
【０１３４】
また、本実施形態では、制御装置３１は、自車両から見て走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外するようになっている。すなわち、車両用制御装置３０は例えば先行車検出装置として用いられている場合には、走行誘導障害物の外側にある立体物を先行車として検出せず、例えばメモリから抹消するようになっている。
【０１３５】
このように、本実施形態に係る車両用制御装置３０によれば、レーダ装置により抽出された立体物の情報と走行誘導障害物検出装置１により検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を例えば先行車と誤認識することを確実に防止することが可能となる。
【０１３６】
また、自車両から見て走行誘導障害物の外側にある車両は走行誘導障害物を乗り越えて自車両の走行レーンに進入してくることは通常の状態では考え難い。そのため、前記のように立体物の中から走行誘導障害物を特定し、その外側にある立体物を立体物との距離を調整する制御の制御対象から除外することで制御のための演算処理を軽減することが可能となり、制御装置３１の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。
【図面の簡単な説明】
【０１３７】
【図１】第１の実施形態に係る走行誘導障害物検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】水平ラインｊ上に検出された車線候補点を説明する図である。
【図４】検出された車線候補点を示す図である。
【図５】最終的に検出された右車線位置および左車線位置を示す図である。
【図６】距離画像の各区分の距離を実空間上の点としてプロットした図である。
【図７】図６の各点をグループ化して形成された各グループを示す図である。
【図８】図７の各グループをラベルして検出された物体と側壁を示す図である。
【図９】物体や側壁を示す枠線を重ね合わせて表示した基準画像を示す図である。
【図１０】車線分離標が撮像された基準画像の一例を示す図である。
【図１１】図１０の基準画像中に検出された立体物を表す図である。
【図１２】各画素の輝度値およびその差分のパターンを表すグラフである。
【図１３】検出された走行誘導障害物、過去の走行誘導障害物および曲線Ｃを表す図である。
【図１４】第２の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１５】第３の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１６】第５の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１７】（Ａ）は車線分離標の例を表す図であり、（Ｂ）はパイロンの例を表す図である。
【符号の説明】
【０１３８】
１ 走行誘導障害物検出装置
２ 撮像手段
６ 画像処理手段
９ 検出手段
９１ 車線検出手段
１０、２０、３０ 車両用制御装置
１１、２１、３１ 制御装置
１２ 警報装置
３２ 情報収集手段
ｐ１ij 輝度値
ＭＣ 自車両
Ｔ 基準画像
Ｚij 距離
Ｓｎ 立体物
Ｋｎ 走行誘導障害物
Ｋusｎ 過去の走行誘導障害物
Ｃ 曲線
ＬＲ、ＬＬ 車線位置
【技術分野】
【０００１】
本発明は、走行誘導障害物検出装置および車両用制御装置に係り、特に、自車両前方の撮像画像中から車線分離標やパイロン等の走行誘導障害物を検出する走行誘導障害物検出装置とそれを用いた車両用制御装置に関する。
【背景技術】
【０００２】
乗用車等の車両における走行の安定性や安全性の向上等に向けての自動制御を行うためには、自車両の左右の道路面上に標示された車線や自車両の前方に存在する先行車や駐車車両、歩行者等の立体物等をできるだけ正確に検出して自車両の走行環境を的確に認識することが必要となる。
【０００３】
そのため、近年、自車両前方の撮像画像中から車線を認識したり（例えば特許文献１等参照）、道路形状を認識したり（例えば特許文献２、３等参照）、走行レーン上またはその周辺の立体物や車両を認識する（例えば特許文献２、４〜６等参照）等の技術が開発されている。
【０００４】
なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、車線と車線との間の車両が走行する車両通行帯を走行レーンという。また、図１７（Ａ）に示すような車線分離標や、図１７（Ｂ）に示すような道路上に置かれたカラーコーン（登録商標）とも呼ばれるパイロン等を、車両の走行を誘導する障害物を表すものとして走行誘導障害物という。
【特許文献１】特開２００１−９２９７０号公報
【特許文献２】特開平５−２６５５４７号公報
【特許文献３】特開平１１−２０３４５８号公報
【特許文献４】特開平１０−２８３４６１号公報
【特許文献５】特開平１０−２８３４７７号公報
【特許文献６】特開２００６−４７０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、自車両の走行レーン上またはその周辺に配置される走行誘導障害物のうち、車線分離標は、例えば車道中央線を表す標識として車線の代わりに道路中央に立設されている場合がある。このような場合には、車線分離標を検出して初めて走行レーンの右端位置を認識することが可能となり、それに沿うようにキープレーン制御等の自動制御を行うことが可能となる。
【０００６】
また、道路工事や土木工事等でパイロンが走行レーン内に置かれている場合には、自車両の左側や右側の車線に沿うのではなく、そのパイロンの配置位置を正確に検出してそのパイロンの誘導に従ってパイロンに沿うように制御を行わなければ適切に自車両を走行させることができない。
【０００７】
一方、自車両の周囲に存在する車両を認識する技術においてはレーダ装置が用いられることが多い。レーダから発射された電波は、図１７（Ａ）、（Ｂ）に示した車線分離標やパイロンの表面に塗布され或いは巻きつけられた反射材Ｒに強く反射されるため、車両に搭載される安価なレーダでは車線分離標やパイロン等の走行誘導障害物を車両であると誤認識してしまう場合がある。
【０００８】
そのため、道路上に静止した走行誘導障害物を車両と誤認識してそれとの衝突を避けるために自車両を自動的に停止させてしまったり、或いは車線分離標やパイロン等の走行誘導障害物に沿うように走行させることができなくなるという問題が生じる。このように、自車両の前方に存在する立体物の中から特に走行誘導障害物を誤認識することなく走行誘導障害物として検出することを可能とする技術の開発が望まれる。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能な走行誘導障害物検出装置を提供することを目的とする。また、この走行誘導障害物検出装置を有効に用いた車両用制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の問題を解決するために、第１の発明は、
走行誘導障害物検出装置において、
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする。
【００１１】
第２の発明は、第１の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに前記一方の画像中に走行誘導障害物として検出された複数の立体物の配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。
【００１２】
第３の発明は、第１の発明の走行誘導障害物検出装置において、前記検出手段は、前記立体物の実空間上の位置を算出するとともに自車両の挙動により前記一方の画像中に見出されなくなった過去の走行誘導障害物の位置を前記自車両の挙動に基づいて更新して記録し、前記過去の走行誘導障害物の位置と、前記一方の画像中に走行誘導障害物として検出された立体物の位置との配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上またはその近傍にある前記検出された立体物を走行誘導障害物として検出することを特徴とする。
【００１３】
第４の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする。
【００１４】
第５の発明は、第４の発明の車両用制御装置において、前記制御装置は、自車両から見て前記走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外することを特徴とする。
【００１５】
第６の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする。
【００１６】
第７の発明は、第６の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする。
【００１７】
第８の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする。
【００１８】
第９の発明は、第８の発明の車両用制御装置において、
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする。
【００１９】
第１０の発明は、車両用制御装置において、
第１から第３のいずれかの発明の走行誘導障害物検出装置と、
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする。
【００２０】
第１１の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線逸脱の回避制御を停止することを特徴とする。
【００２１】
第１２の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線追従制御を停止することを特徴とする。
【００２２】
第１３の発明は、第１０の発明の車両用制御装置において、前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、自車両が前記パイロンに沿って走行するように追従制御を行うことを特徴とする。
【発明の効果】
【００２３】
第１の発明によれば、前記一方の画像中に検出された立体物の幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。
【００２４】
第２の発明によれば、自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに除外されてしまった立体物について、立体物の実空間上の位置を算出して検出された複数の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断して走行誘導障害物として適切に検出することが可能となり、前記発明の効果がより的確に発揮される。
【００２５】
第３の発明によれば、一方の画像中に検出された複数の走行誘導障害物のみならず、自車両の挙動により一方の画像中に見出されなくなった過去の走行誘導障害物を追跡してその配置を含めて直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出することで、前記第２の発明の効果をより効果的に発揮させることが可能となる。
【００２６】
第４の発明によれば、前述したようにレーダ装置等を用いる場合、走行誘導障害物を例えば車両であると誤認識してしまう場合があるが、本発明の走行誘導障害物検出装置を用い、レーダ装置等で抽出された立体物の情報と走行誘導障害物検出装置で検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を車両等と誤認識することを確実に防止することが可能となる。
【００２７】
第５の発明によれば、立体物の中から走行誘導障害物を特定し、その外側にある立体物を立体物との距離を調整する制御の制御制御の対象から除外することで、前記発明の効果に加え、制御のための演算処理を軽減することが可能となり、制御装置の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。
【００２８】
第６の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して走行誘導障害物に接触したり車線を逸脱することを適切に防止することが可能となる。
【００２９】
第７の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。
【００３０】
第８の発明によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように車線追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。
【００３１】
第９の発明によれば、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となり、前記発明の効果をより効果的に発揮することが可能となる。
【００３２】
第１０の発明によれば、走行誘導障害物検出装置において車線分離標とパイロンとを区別して検出し、検出した走行誘導障害物がパイロンであることを判断することで、自車両が走行中の道路が道路工事や土木工事等のために工事中であることを的確に判断することが可能となり、適切な車両制御を行うことが可能となる。
【００３３】
第１１の発明によれば、道路が工事中であれば自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、自車両が走行中の道路が工事中であると判断した場合には車線逸脱の回避制御を停止することで、ドライバが意図的に車線を逸脱しようとする場合には車線逸脱の回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【００３４】
第１２の発明によれば、自車両が走行中の道路が工事中であると判断した場合にもドライバはパイロンに衝突しないように意図的に車線を逸脱しようとするが、前記と同様に、そのような場合に車線に対する追従制御を停止することで、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【００３５】
第１３の発明によれば、自車両が走行誘導障害物検出装置により検出されたパイロンに沿って走行するように応動部に指示信号を発して追従制御を行うため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明に係る走行誘導障害物検出装置および車両用制御装置の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施の形態］
まず、走行誘導障害物検出装置について説明する。本実施形態に係る走行誘導障害物検出装置１は、図１に示すように、主に撮像手段２と、画像処理手段６と、検出手段９とで構成されている。
【００３８】
撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。
【００３９】
メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。
【００４０】
メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。そして、前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として、また距離等を求めるために比較される画像から変換されたデジタル画像が比較画像として出力されるようになっている。
【００４１】
Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されている。画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。
【００４２】
なお、例えば、基準画像Ｔは図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度値からなる画像データとして、比較画像は図示を省略するが水平方向が６４０画素、垂直方向が２００画素分の輝度値からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納され、同時に検出手段９に送信されるようになっている。
【００４３】
前述したように、本実施形態では、メインカメラ２ａ等にＣＣＤカメラが用いられている。メインカメラ２ａやサブカメラ２ｂは、自車両前方の風景を下側から順に水平方向にライン状に走査して撮像し、各水平ラインごとに撮像されたデータを順次変換手段３に送信する。そして、変換手段３で送信させてきた水平ラインの各画素ごとに撮像データを所定の輝度階調の輝度値に変換され、画像補正部４で画像補正が行われた後、各水平ラインごとの画像データが画像データメモリ５に格納されると同時に検出手段９に順次送信されるようになっている。
【００４４】
また、画像データメモリ５には、メインカメラ２ａとサブカメラ２ｂから一定の時間間隔をおいて送信され、画像補正等を受けた画像のデジタルデータが時系列的に格納されるようになっている。
【００４５】
画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。
【００４６】
イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素で構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄを算出するようになっている。この視差ｄの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。
【００４７】
イメージプロセッサ７は、５１２×２００画素を有する基準画像Ｔについて４×４画素の画素ブロックごとに１つの視差ｄを算出するようになっている。１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、その１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。
【００４８】
なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。
【００４９】
イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像Ｔを４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅の水平ラインに分割する。そして、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
【００５０】
なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度値を表す。また、本実施形態では、前述したように画像補正部４から水平ラインごとの画像データが出力されるため、イメージプロセッサ７では、水平ライン４本分の画像データが入力されるごとに前記４×４画素の画素ブロックに対するステレオマッチング処理を行うようになっている。
【００５１】
イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。
【００５２】
この視差ｄは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄとを三角測量の原理に基づいて対応付けることができる。
【００５３】
具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、画像上の点（ｉ，ｊ，ｄ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄ−ＤＰ）） …（４）
【００５４】
すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離と視差ｄとは、前記（４）式のＺを距離とすることで一意に対応付けられる。ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００５５】
また、イメージプロセッサ７は、視差ｄの信頼性を向上させる目的から、このようにして求めた視差ｄに対してフィルタリング処理を施し、有効とされた視差ｄのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄが算出されてもその視差ｄの信頼性は低い。そのため、そのような視差ｄは前記フィルタリング処理で無効とされ、視差ｄの値として０を出力するようになっている。
【００５６】
したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｚ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。
【００５７】
イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄは距離データとして画像処理手段６の距離データメモリ８に格納されるようになっている。また、距離データメモリ８には、イメージプロセッサ７から一定の時間間隔をおいて送信されてくる距離データが時系列的に格納されるようになっている。
【００５８】
なお、下記の検出手段９における処理では、基準画像Ｔの１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の視差ｄを有する独立した画素として処理されるようになっている。なお、以下、距離データメモリ８に記憶されている各画素に視差ｄが割り付けられた擬似画像を距離画像という。
【００５９】
検出手段９は、車線検出手段９１と、立体物検出手段９２と、走行誘導障害物検出手段９３と、過去障害物更新手段９４とを備えている。
【００６０】
また、検出手段９には、図示しないＩ／Ｏインターフェースを介して車速センサやヨーレートセンサ等のセンサ類Ａが接続されており、センサ類Ａから車速Ｖやヨーレートγ等が入力されるようになっている。なお、ヨーレートセンサを用いる代わりに、例えば、特開２００４−２４９８１２号公報に記載の車両運動モデル生成装置等のヨーレート推定装置を接続することも可能である。
【００６１】
車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｚijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。
【００６２】
車線検出手段９１は、基準画像Ｔから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１は前記特許文献１等に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。
【００６３】
車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の視差ｄの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図３に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。
【００６４】
その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の視差ｄの情報に基づいて各画素の距離Ｚijを算出し、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。
【００６５】
車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図４に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を除外して残りの車線候補点を結ぶことで、図５に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。
【００６６】
なお、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。
【００６７】
車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬの情報を図示しないメモリに保存するとともに、装置外に出力するようになっている。
【００６８】
立体物検出手段９２は、距離画像の各画素の視差ｄから算出される実空間における距離Ｚijに基づいて基準画像Ｔ上に立体物を検出するようになっている。立体物検出手段９２は、道路面より高い位置に存在する立体物を精度良く検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、立体物検出手段９２は前記特許文献５等に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。
【００６９】
立体物検出手段９２は、まず、距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、短冊状の各区分に属する各画素の視差ｄから各画素について距離Ｚijを算出し、道路面より高い位置に存在すると位置付けられる距離Ｚijに関するヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分に含まれる立体物の距離とする。これを全区分について行う。
【００７０】
例えば、図２に示した基準画像Ｔに対応する距離画像を短冊状の区分に分割して得られた各区分の距離を実空間上の点に変換すると、図６に示すように、立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点がプロットされる。
【００７１】
立体物検出手段９２は、図７に示すように、各点の距離や方向性に基づいて各点をグループＧ１〜Ｇ７にグループ化し、図８に示すように、各点が略Ｘ軸方向に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が略Ｚ軸方向に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物を“正面”および“側壁”として検出するようになっている。
【００７２】
ここで、Ｘ軸方向とは自車両の進行方向に向かって垂直の車幅方向すなわち左右方向、Ｚ軸方向とは車長方向すなわち前後方向をいい、原点はメインカメラ２ａおよびサブカメラ２ｂの中央位置の真下の道路面上の点にとられる。なお、Ｙ軸方向は車高方向すなわち上下方向をいう。
【００７３】
立体物検出手段９２は、図８中の正面Ｏ１と側壁Ｗ１のように、“正面”と“側壁”とがそれぞれ１つの立体物に属する場合には、“正面”と“側壁”との組み合わせを立体物Ｓとして認識し、正面Ｏ１と側壁Ｗ１との境目のような立体物の角部をコーナー点Ｃとして算出するように構成されている。
【００７４】
このようにして検出された正面Ｏｎ、側壁Ｗｎおよび立体物Ｓｎを枠線で囲うようにして基準画像Ｔに重ねて表示させた場合には、図９に示すような画像として表示される。なお、以下では、正面Ｏｎ、側壁Ｗｎおよび立体物Ｓｎをあわせて立体物Ｓｎという。
【００７５】
立体物検出手段９２は、このようにして検出した各立体物Ｓｎのグループのそれぞれ左端と右端の座標および高さの情報等をメモリに保存するとともに、装置外に出力するようになっている。
【００７６】
走行誘導障害物検出手段９３は、立体物検出手段９２により検出された各立体物Ｓｎの中から図１７（Ａ）、（Ｂ）に示したような反射材Ｒが塗布され或いは巻きつけられた走行誘導障害物を検出するようになっている。
【００７７】
具体的には、例えば図１０に示すような車両や車線、車線分離標等が撮像された基準画像Ｔから前記立体物検出手段９２により検出された図１１に示すような立体物Ｓ１〜Ｓ１５に対して、走行誘導障害物検出手段９３は、各立体物Ｓｎのグループの左端から右端までの実空間上の距離すなわち各立体物Ｓｎの幅を算出するようになっている。なお、図１０および図１１では、立体物Ｓ１〜Ｓ５等で表される車線分離標の白黒の縞模様の明暗が実際とは逆に示されている。
【００７８】
そして、走行誘導障害物検出手段９３は、立体物Ｓｎの大きさによる選別を行うようになっている。すなわち、立体物Ｓｎの幅が予め設定された閾値内にあり、かつ、高さが予め設定された閾値内にある立体物Ｓｎを選別し、他の立体物Ｓｎを除外するようになっている。
【００７９】
本実施形態では、走行誘導障害物の幅の閾値および高さの閾値は、走行誘導障害物が図１０等に示した車線分離標である場合とパイロンである場合とで別々に設けられている。車線分離標は、通常、パイロンよりも細く、高さも異なることから、それぞれの閾値はそれらを区別できるように適宜設定される。
【００８０】
走行誘導障害物検出手段９３は、続いて、前記大きさによる選別で該当するとして選別された立体物Ｓｎのそれぞれについて、輝度パターンによる選別を行うようになっている。輝度パターンの検出では、走行誘導障害物検出手段９３は、図１２に示すように、選別された立体物Ｓｎの左右端の中心を上端から下方に向かって１画素ずつオフセットしながら各画素の輝度値ｐ１ijを検出し、さらに各画素の輝度値ｐ１ijとその直下の画素の輝度値との差分Δｐをとるようになっている。
【００８１】
続いて、走行誘導障害物検出手段９３は、図１２中にＱで示される輝度値の差分Δｐが大きく変化する画素部分を走行誘導障害物の反射材がある明部Ｂと反射材がない暗部Ｄとの境界として検出し、境界の画素以外の画素部分で各明部Ｂおよび各暗部Ｄの輝度値の平均値ｐｂｎave、ｐｄｎaveをそれぞれ算出する。
【００８２】
そして、すべての明部Ｂについて各明部Ｂの輝度平均値ｐｂｎaveの分布を求めてその最大値と最小値の差Δｐｂを算出する。また、すべての暗部Ｄについても各暗部Ｄの輝度平均値ｐｄｎaveの分布を求めてその最大値と最小値の差Δｐｄを算出する。さらにすべての明部Ｂの輝度平均値ｐｂaveとすべての暗部Ｄの輝度平均値ｐｄaveを算出する。
【００８３】
走行誘導障害物検出手段９３は、各明部Ｂについての輝度平均値の最大値と最小値の差Δｐｂおよび各暗部Ｄについての輝度平均値の最大値と最小値の差Δｐｄがいずれも所定の規定値以内であり、かつ、すべての明部Ｂの輝度平均値ｐｂaveとすべての暗部Ｄの輝度平均値ｐｄaveとの差が所定の規定値以上である場合に、その立体物Ｓｎが走行誘導障害物に特有の輝度の繰り返しパターンを有すると判定するようになっている。そして、そのような輝度パターンを有する立体物Ｓｎを走行誘導障害物として選別するようになっている。
【００８４】
走行誘導障害物検出手段９３は、さらに距離画像に基づいて、走行誘導障害物として選別された立体物Ｓｎの各明部Ｂの上下方向の実空間上の長さが反射材として一般的に採用される長さと大きく異なる場合には、その立体物Ｓｎを走行誘導障害物から除外するようになっている。
【００８５】
走行誘導障害物検出手段９３は、このようにして最終的に選別されて生き残った立体物Ｓｎを走行誘導障害物として検出するようになっている。
【００８６】
また、走行誘導障害物検出手段９３は、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外した立体物Ｓｎのうち、検出された走行誘導障害物Ｋｎの配置から見て走行誘導障害物である判断される立体物Ｓｎを改めて走行誘導障害物として検出するようになっている。
【００８７】
本実施形態では、走行誘導障害物検出手段９３は、前記のようにして走行誘導障害物として検出した立体物Ｓｎの実空間上の位置と、後述する過去障害物更新手段９４により更新され記録されている過去の走行誘導障害物の実空間上の位置との配置に基づいてより遠方の立体物Ｓｎが走行誘導障害物であるか否かを判断して検出するようになっている。
【００８８】
具体的には、図１３に示すように、前記輝度パターンによる選別により検出された走行誘導障害物Ｋ１〜Ｋ３の位置と、自車両の挙動により基準画像Ｔ上に見出され得る自車両ＭＣに最も近い位置Ｐより手前側に移動してしまったために基準画像Ｔ上に見出されなくなった過去の走行誘導障害物Ｋus１〜Ｋus３の位置の配置に対して最小自乗法を施して曲線Ｃで曲線近似するようになっている。なお、本実施形態では曲線Ｃを２次曲線として近似するが、例えばハフ変換等により直線近似することも可能である。
【００８９】
続いて、曲線Ｃを自車両ＭＣから遠方に延長し、前記輝度パターンによる選別で走行誘導障害物には該当しないとして除外された立体物Ｓｎのうち、延長された曲線Ｃ上または曲線Ｃから所定距離以内にある立体物Ｓｎを改めて走行誘導障害物Ｋｎとして検出するようになっている。
【００９０】
走行誘導障害物検出手段９３は、このようにして検出した各走行誘導障害物Ｋｎの情報等をメモリに保存するとともに、装置外に出力するようになっている。
【００９１】
過去障害物更新手段９４は、自車両の挙動により基準画像Ｔ中に見出されなくなった過去の走行誘導障害物Ｋusを追跡して記録し、それらの実空間上の座標を自車両の挙動に基づいて次回の検出タイミングにおける座標に更新するようになっている。
【００９２】
例えば、図１０等に示されている走行誘導障害物Ｋ１は、自車両が前進したり転回したりすると、基準画像Ｔ中には見出されなくなる。しかし、立体物検出手段９２により走行誘導障害物Ｋ１の実空間上の座標が検出されている。
【００９３】
そこで、本実施形態では、過去障害物更新手段９４は、車速センサおよびヨーレートセンサから送信されてくる現在の車速Ｖおよびヨーレートγで自車両ＭＣが前進や転回した場合に、走行誘導障害物Ｋ１だった走行誘導障害物すなわち自車両の挙動で基準画像Ｔ中に見出されなくなり過去の走行誘導障害物Ｋus１となる走行誘導障害物の座標が次回の撮像タイミングではどの位置になるかを算出するようになっている。
【００９４】
本実施形態では、過去障害物更新手段９４は、過去の走行誘導障害物として３個の走行誘導障害物の座標を記憶するようになっており、このように新たに走行誘導障害物を過去の走行誘導障害物として記憶すると、最も過去の走行誘導障害物すなわち図１３の例で言えば過去の走行誘導障害物Ｋus３の記録を抹消するようになっている。
【００９５】
また、過去障害物更新手段９４は、他の過去の走行誘導障害物の座標についても現在の車速Ｖおよびヨーレートγに基づいて次回の撮像タイミングにおける座標を算出して更新するようになっている。なお、上記のように新たに過去の走行誘導障害物Ｋus１が記録される場合、図１３の過去の走行誘導障害物Ｋus１、Ｋus２はそれぞれ過去の走行誘導障害物Ｋus２、Ｋus３としてその座標が更新される。
【００９６】
過去障害物更新手段９４は、このようにして更新した過去の走行誘導障害物Ｋus１〜Ｋus３の座標をメモリに保存するようになっている。これらの座標を装置外に出力するように構成することも可能である。
【００９７】
次に、本実施形態に係る走行誘導障害物検出装置１の作用について説明する。
【００９８】
走行誘導障害物検出装置１の検出手段９の走行誘導障害物検出手段９３は、立体物検出手段９２により例えば図１１に示した基準画像Ｔ中から立体物Ｓ１〜Ｓ１５が検出されると、それらの立体物Ｓ１〜Ｓ１５に対して、各立体物Ｓｎのグループの幅と高さがそれぞれ予め設定された閾値内にある立体物Ｓ１〜Ｓ５と立体物Ｓ１４を選別し、他の立体物Ｓｎを除外する。
【００９９】
走行誘導障害物検出手段９３は、続いて、選別された立体物Ｓ１〜Ｓ５と立体物Ｓ１４に対して前述したような輝度パターンによる選別を行い、立体物の上下方向の輝度変化が一定のパターンを有する立体物Ｓ１〜Ｓ３を走行誘導障害物Ｋ１〜Ｋ３として検出し、立体物Ｓ４、Ｓ５、Ｓ１４を除外する。
【０１００】
しかし、除外された立体物Ｓ４、Ｓ５、Ｓ１４は、自車両ＭＣから遠くにある等のために走行誘導障害物であるが輝度パターンが明確に見えなくなっているだけである可能性が残る。
【０１０１】
そのため、走行誘導障害物検出手段９３は、検出した走行誘導障害物Ｋ１〜Ｋ３の配置や過去障害物更新手段９４により自車両の挙動に基づいて位置が更新されている過去の走行誘導障害物Ｋus１〜Ｋus３の配置に基づいてそれらの並び方の形状を直線または曲線で近似し、その直線または曲線の延長線上にある立体物Ｓ４、Ｓ５を走行誘導障害物Ｋ４、Ｋ５であるとして検出する。
【０１０２】
立体物Ｓ１４は、近似された直線または曲線から大きく離れているため走行誘導障害物としては検出されない。
【０１０３】
なお、例えば、輝度パターンによる選別の結果、立体物Ｓ２が走行誘導障害物として検出されず立体物Ｓ１とＳ３のみが走行誘導障害物として検出された場合、立体物Ｓ２は、走行誘導障害物Ｓ１とＳ２の配置に基づく近似直線または近似曲線上或いはその近傍に存在する立体物と判定されるため、改めて走行誘導障害物Ｓ２として検出される。
【０１０４】
以上のように、本実施形態に係る走行誘導障害物検出装置１によれば、基準画像Ｔ中に検出された立体物Ｓｎについて幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。
【０１０５】
そのため、走行誘導障害物である立体物を例えば車両等と誤認識することなく、走行誘導障害物として適切に検出することが可能となる。
【０１０６】
また、大きさによる選別では選別されたが自車両から遠方にある等の理由で輝度の繰り返しパターンが検出されずに前記走行誘導障害物の検出において除外されてしまった立体物Ｓｎについて、検出された走行誘導障害物や基準画像Ｔに見出されなくなった過去の走行誘導障害物の配置を直線や曲線で近似し、その直線や曲線上或いはその近傍にある立体物は走行誘導障害物として検出する。
【０１０７】
そのため、輝度の繰り返しパターンが検出されなかった立体物についても的確に走行誘導障害物であるか否かを判断し、走行誘導障害物として適切に検出することが可能となる。
【０１０８】
なお、本実施形態では、基準画像Ｔ上に検出された走行誘導障害物Ｋｎの位置と過去の走行誘導障害物Ｋusｎの位置との配置に基づいて直線近似や曲線近似によって輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出することについて述べた。しかし、基準画像Ｔ上に検出された走行誘導障害物Ｋｎの配置のみに基づいて直線近似や曲線近似を行うように構成することも可能であり、また、基準画像Ｔ上に走行誘導障害物Ｋｎが検出されない場合でも、過去の走行誘導障害物Ｋusｎの配置のみに基づいて直線近似や曲線近似を行って基準画像Ｔ上の輝度パターンが検出されなかった立体物を新たに走行誘導障害物として検出するように構成することも可能である。
【０１０９】
［第２の実施の形態］
次に、以下の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた種々の車両用制御装置について説明する。
【０１１０】
第２の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた車線逸脱防止装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置１０は、図１４に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置１１と、警報装置１２とを備えている。
【０１１１】
制御装置１１は、自車両が走行誘導障害物検出装置１により検出された左右いずれかの車線位置を逸脱する可能性があると判断した場合に、接続された警報装置１２にそのスピーカ等から警報を発するように指示を出すようになっている。なお、車線検出手段を前記第１の実施形態に係る走行誘導障害物検出装置１とは別の装置として設けることも可能である。
【０１１２】
また、制御装置１１は、走行誘導障害物検出装置１により検出された走行誘導障害物に自車両が所定距離以内に接近している場合にも、接続された警報装置１２にそのスピーカ等から警報を発するように指示を出すようになっている。
【０１１３】
さらに、制御装置１１は、走行誘導障害物検出装置１により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めるようになっている。
【０１１４】
このように、本実施形態に係る車両用制御装置１０によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに接近する場合に警報を発することで、ドライバの注意を効果的に喚起して車線逸脱を適切に防止することが可能となる。
【０１１５】
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも警報を発するタイミングを早めることで、ドライバの注意を早期に喚起して車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。
【０１１６】
なお、警報を発する代わりに或いはそれと並行して、自車両を自動的に走行レーンに引き戻すように各種アクチュエータ等を自動制御するように構成することも可能である。
【０１１７】
［第３の実施の形態］
第３の実施形態では、前記第１の実施形態に係る走行誘導障害物検出装置１を用いた追従支援装置としての車両用制御装置について説明する。本実施形態に係る車両用制御装置２０は、図１５に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置２１とを備えており、制御装置２１には、ステアリングサーボ機能を有する制御システムを含む応動部Ｂが接続されている。
【０１１８】
制御装置２１は、自車両が走行誘導障害物検出装置１により検出された左右の車線位置に区画される走行レーン内を走行するように、自車両が走行すべきラインを設定し或いは自車両の所定距離前方に目標点を設定し、応動部Ｂに指示信号を発して車線に対する追従制御を行うようになっている。
【０１１９】
また、制御装置２１は、自車両が走行誘導障害物検出装置１により検出された走行誘導障害物に沿って走行するように応動部Ｂに指示信号を発して走行誘導障害物に対する追従制御を行うようになっている。
【０１２０】
さらに、制御装置２１は、走行誘導障害物検出装置１により検出された走行誘導障害物が左右いずれかの車線の近傍にある場合には、車線のみの場合よりも車線からの離間距離を拡大して走行レーンの中央に近い位置を走行するように自車両の走行を制御するようになっている。
【０１２１】
このように、本実施形態に係る車両用制御装置２０によれば、車線分離標等の走行誘導障害物を確実に検出して、自車両がそれに沿って走行するように追従制御を行うことで、道路面上に車線が標示されておらず車線分離標等の走行誘導障害物のみが立設されている場合にも自車両をそれに沿って自動走行させることが可能となる。
【０１２２】
また、走行誘導障害物が近傍に立設され車線逸脱が強く禁止されている車線で、走行誘導障害物がない車線のみの場合よりも車線から大きく離間させることで、車線逸脱を確実に防止し、自車両が走行誘導障害物に接触したり衝突することを的確に防止することが可能となる。
【０１２３】
［第４の実施の形態］
第１の実施形態に係る走行誘導障害物検出装置１は、走行誘導障害物の幅の閾値および高さの閾値を適切に設定することで、車線分離標とパイロンとを区別して検出することができる。
【０１２４】
そのため、前記第２および第３の実施形態に係る車両用制御装置１０、２０の制御装置１１、２１で、パイロンを検出するように前記閾値を設定し、車線の内側やその近傍に検出された立体物がパイロンである場合には、自車両が走行中の道路が道路工事や土木工事等のために工事中であると判断するように構成することができる。
【０１２５】
そして、道路が工事中であれば、自車両が走行レーンを逸脱して車線を跨ぐように走行したり隣の走行レーンに車線変更したりすることが想定される。そのため、第２の実施形態に係る車線逸脱防止装置としての車両用制御装置１０において、制御装置１１を、自車両が走行中の道路が工事中であると判断した場合には車線逸脱回避制御を停止するように構成することができる。
【０１２６】
このように構成すれば、道路が工事中でドライバが意図的に車線を逸脱しようとする場合には車線逸脱回避制御が停止されるから、ドライバの意図に反して自車両が元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【０１２７】
また、第３の実施形態に係る車線追従支援装置としての車両用制御装置２０では、制御装置２１は、自車両が走行誘導障害物検出装置１により検出されたパイロンに沿って走行するように応動部Ｂに指示信号を発して走行誘導障害物に対する追従制御を行う。そのため、例えば走行レーンの内側にパイロンが置かれている場合には、それに沿って自車両が走行することが可能となり、パイロンとの接触や衝突を適切に回避することが可能となる。
【０１２８】
なお、第３の実施形態に係る車線追従支援装置としての車両用制御装置２０で、制御装置２１が、自車両を走行誘導障害物検出装置１により検出されたパイロンに沿って走行させるように構成されていない場合には、車線追従制御を停止するように構成することが好ましい。このように構成すれば、ドライバがパイロンに衝突しないように車線を逸脱しようとする場合に、自車両が無理に元の走行レーンに引き戻されるように制御されて走行が不安定になることを防止することが可能となる。
【０１２９】
［第５の実施の形態］
第５の実施形態に係る車両用制御装置３０は、図１６に示すように、前記第１の実施形態に係る走行誘導障害物検出装置１と、制御装置３１と、情報収集手段３２としてのレーダ装置とを備えている。本実施形態に係る車両用制御装置３０は、例えば、自車両の周囲の先行車を検出するための先行車検出装置として用いることができる。
【０１３０】
レーダ装置は自車両の先端に設けられており、例えば３０ＧＨｚから１００ＧＨｚの電波を自車両周囲に送信し、反射されて戻ってくる電波を受信することで、自車両周囲の立体物の位置や大きさ等の情報を収集するようになっている。レーダ装置は、送受信データを制御装置３１に送信するようになっている。
【０１３１】
制御装置３１は、レーダ装置から送信されてくる送受信データに基づいて電波が立体物に反射されて戻ってくるまでの時間差を計測し、自車両から立体物までの相対距離を算出するようになっている。また、前記相対距離の分布状態から、同一の距離の値が連続する部分を１つの立体物として抽出し、図示しないメモリに記録するようになっている。
【０１３２】
また、制御装置３１は、前回抽出された立体物のデータをメモリから読み出して、今回抽出した立体物と同一である確率を求め、確率が予め設定された閾値以上であれば今回抽出したデータで立体物のデータを更新して立体物として継続登録するようになっている。また、対応する過去のデータがない場合には新たな立体物として登録するようになっている。
【０１３３】
さらに、制御装置３１は、走行誘導障害物検出装置１から送信されてくる走行誘導障害物の位置等の情報と、レーダ装置からの送受信データに基づいて収集された立体物の位置等の情報とを対照して、位置がほぼ一致し、大きさが所定範囲内で対応する場合には、レーダ装置からの送受信データに基づいて収集された立体物を走行誘導障害物として認識し、その立体物に走行誘導障害物としてラベル付けをしてメモリに記録するようになっている。
【０１３４】
また、本実施形態では、制御装置３１は、自車両から見て走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外するようになっている。すなわち、車両用制御装置３０は例えば先行車検出装置として用いられている場合には、走行誘導障害物の外側にある立体物を先行車として検出せず、例えばメモリから抹消するようになっている。
【０１３５】
このように、本実施形態に係る車両用制御装置３０によれば、レーダ装置により抽出された立体物の情報と走行誘導障害物検出装置１により検出された走行誘導障害物の情報とを対照して、対応する立体物を走行誘導障害物として認識することで、走行誘導障害物を例えば先行車と誤認識することを確実に防止することが可能となる。
【０１３６】
また、自車両から見て走行誘導障害物の外側にある車両は走行誘導障害物を乗り越えて自車両の走行レーンに進入してくることは通常の状態では考え難い。そのため、前記のように立体物の中から走行誘導障害物を特定し、その外側にある立体物を立体物との距離を調整する制御の制御対象から除外することで制御のための演算処理を軽減することが可能となり、制御装置３１の演算負荷を低減することが可能となるとともに、処理速度の向上を図ることが可能となる。
【図面の簡単な説明】
【０１３７】
【図１】第１の実施形態に係る走行誘導障害物検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】水平ラインｊ上に検出された車線候補点を説明する図である。
【図４】検出された車線候補点を示す図である。
【図５】最終的に検出された右車線位置および左車線位置を示す図である。
【図６】距離画像の各区分の距離を実空間上の点としてプロットした図である。
【図７】図６の各点をグループ化して形成された各グループを示す図である。
【図８】図７の各グループをラベルして検出された物体と側壁を示す図である。
【図９】物体や側壁を示す枠線を重ね合わせて表示した基準画像を示す図である。
【図１０】車線分離標が撮像された基準画像の一例を示す図である。
【図１１】図１０の基準画像中に検出された立体物を表す図である。
【図１２】各画素の輝度値およびその差分のパターンを表すグラフである。
【図１３】検出された走行誘導障害物、過去の走行誘導障害物および曲線Ｃを表す図である。
【図１４】第２の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１５】第３の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１６】第５の実施形態に係る車両用制御装置の構成を示すブロック図である。
【図１７】（Ａ）は車線分離標の例を表す図であり、（Ｂ）はパイロンの例を表す図である。
【符号の説明】
【０１３８】
１ 走行誘導障害物検出装置
２ 撮像手段
６ 画像処理手段
９ 検出手段
９１ 車線検出手段
１０、２０、３０ 車両用制御装置
１１、２１、３１ 制御装置
１２ 警報装置
３２ 情報収集手段
ｐ１ij 輝度値
ＭＣ 自車両
Ｔ 基準画像
Ｚij 距離
Ｓｎ 立体物
Ｋｎ 走行誘導障害物
Ｋusｎ 過去の走行誘導障害物
Ｃ 曲線
ＬＲ、ＬＬ 車線位置
【特許請求の範囲】
【請求項１】
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする走行誘導障害物検出装置。
【請求項２】
前記検出手段は、前記立体物の実空間上の位置を算出するとともに前記一方の画像中に走行誘導障害物として検出された複数の立体物の配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上にある前記検出された立体物を走行誘導障害物として検出することを特徴とする請求項１に記載の走行誘導障害物検出装置。
【請求項３】
前記検出手段は、前記立体物の実空間上の位置を算出するとともに自車両の挙動により前記一方の画像中に見出されなくなった過去の走行誘導障害物の位置を前記自車両の挙動に基づいて更新して記録し、前記過去の走行誘導障害物の位置と、前記一方の画像中に走行誘導障害物として検出された立体物の位置との配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上またはその近傍にある前記検出された立体物を走行誘導障害物として検出することを特徴とする請求項１に記載の走行誘導障害物検出装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする車両用制御装置。
【請求項５】
前記制御装置は、自車両から見て前記走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外することを特徴とする請求項４に記載の車両用制御装置。
【請求項６】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする車両用制御装置。
【請求項７】
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする請求項６に記載の車両用制御装置。
【請求項８】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする車両用制御装置。
【請求項９】
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする請求項８に記載の車両用制御装置。
【請求項１０】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする車両用制御装置。
【請求項１１】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線逸脱の回避制御を停止することを特徴とする請求項１０に記載の車両用制御装置。
【請求項１２】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線追従制御を停止することを特徴とする請求項１０に記載の車両用制御装置。
【請求項１３】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、自車両が前記パイロンに沿って走行するように追従制御を行うことを特徴とする請求項１０に記載の車両用制御装置。
【請求項１】
自車両前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記輝度値および前記距離の情報に基づいて前記一方の画像から立体物を検出し、前記立体物の実空間上の大きさを算出する検出手段と
を備え、
前記検出手段は、前記立体物の実空間上の大きさが予め設定された閾値以内で、かつ前記一方の画像中に検出された前記立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出することを特徴とする走行誘導障害物検出装置。
【請求項２】
前記検出手段は、前記立体物の実空間上の位置を算出するとともに前記一方の画像中に走行誘導障害物として検出された複数の立体物の配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上にある前記検出された立体物を走行誘導障害物として検出することを特徴とする請求項１に記載の走行誘導障害物検出装置。
【請求項３】
前記検出手段は、前記立体物の実空間上の位置を算出するとともに自車両の挙動により前記一方の画像中に見出されなくなった過去の走行誘導障害物の位置を前記自車両の挙動に基づいて更新して記録し、前記過去の走行誘導障害物の位置と、前記一方の画像中に走行誘導障害物として検出された立体物の位置との配置を直線または曲線で近似し、近似により得られた直線または曲線を自車両から遠方の領域に延長し、延長された直線上または曲線上またはその近傍にある前記検出された立体物を走行誘導障害物として検出することを特徴とする請求項１に記載の走行誘導障害物検出装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
自車両周囲の立体物についての情報を前記撮像手段以外により収集する情報収集手段と、
前記情報収集手段により収集された立体物の情報と、前記走行誘導障害物検出装置により検出された走行誘導障害物の情報とが対応する場合に、前記立体物を走行誘導障害物として認識する制御装置を有することを特徴とする車両用制御装置。
【請求項５】
前記制御装置は、自車両から見て前記走行誘導障害物として認識された立体物より外側にある立体物を、立体物との距離を調整する制御の制御対象から除外することを特徴とする請求項４に記載の車両用制御装置。
【請求項６】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
ドライバに対して警報を発する警報装置と、
自車両が前記走行誘導障害物として認識された立体物に接近している場合、前記警報装置に警報を出力させる制御装置を有することを特徴とする車両用制御装置。
【請求項７】
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に自車両が接近している場合に警報を発し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみの場合よりも警報を発するタイミングを早めることを特徴とする請求項６に記載の車両用制御装置。
【請求項８】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
前記走行誘導障害物として認識された立体物に沿って走行するように自車両の走行を制御する制御装置を有することを特徴とする車両用制御装置。
【請求項９】
自車両の左右に車線を検出する車線検出手段を備え、
前記制御装置は、前記車線検出手段により検出された車線に沿って自車両が走行するように自車両の走行を制御し、前記走行誘導障害物として認識された立体物が前記車線検出手段により検出された車線の近傍にある場合には、車線のみが検出された場合よりも車線からの離間距離を拡大して走行するように自車両の走行を制御することを特徴とする請求項８に記載の車両用制御装置。
【請求項１０】
請求項１から請求項３のいずれか一項に記載の走行誘導障害物検出装置と、
自車両の左右に車線を検出する車線検出手段と、
前記車線検出手段により検出された車線の内側またはその近傍に検出された立体物であって前記走行誘導障害物として認識された立体物がパイロンであるか否かを判断し、パイロンである場合には自車両が走行中の道路が工事中であると判断する制御装置を有することを特徴とする車両用制御装置。
【請求項１１】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線逸脱の回避制御を停止することを特徴とする請求項１０に記載の車両用制御装置。
【請求項１２】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、車線追従制御を停止することを特徴とする請求項１０に記載の車両用制御装置。
【請求項１３】
前記制御装置は、自車両が走行中の道路が工事中であると判断した場合には、自車両が前記パイロンに沿って走行するように追従制御を行うことを特徴とする請求項１０に記載の車両用制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−２８０１３２（Ｐ２００７−２８０１３２Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０６７０１（Ｐ２００６−１０６７０１）
【出願日】平成１８年４月７日（２００６．４．７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月７日（２００６．４．７）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]