道路区画線種別判定装置、及び、道路区画線認識装置
【課題】簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することが可能な道路区画線種別判定装置を提供すること。
【解決手段】車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とする。
【解決手段】車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置に関する。
【背景技術】
【０００２】
従来、車両前方又は後方を撮像するカメラの画像上で白線等の道路区画線を認識し、これに基づいて自車両が走行車線内を走行するように自動的に補助操舵力を出力する制御システムが、レーンキーピングアシスト（ＬＫＡ）等の名称で知られている（例えば、非特許文献１参照）。このような制御システムでは、例えば、カメラの画像データを構成する画像要素のうち、隣接する画像要素と比較した輝度変化が閾値以上のものを特徴点として抽出し、直線状（又は曲線状）に並んだ特徴点を白線等の輪郭と認識する等の処理が行なわれる。
【０００３】
ところで、カメラに撮像される道路区画線は、白線や黄線で描画された実線や破線等の直線状のもの（以下、白線等と称する）だけでなく、ボッツドッツ（Ｂｏｔｔｓ Ｄｏｔｓ）やキャッツアイ等の道路に点列状に敷設又は描画されたもの（以下、ボッツドッツ等と称する）が存在しうる。従って、画像上で道路区画線を認識する際には、白線等とボッツドッツ等で画像解析のモード（手法）を切替えることが望ましい。なぜなら、両者の間で、道路（アスファルト）との輝度差や出現する特徴点の形状が異なり、同一の解析手法を用いて両者を画一的に認識するのは精度の低下を招くからである。
【０００４】
白線等を認識するための輝度変化に基づく認識処理と、ボッツドッツ等を認識するためのパターンマッチングに基づく認識処理と、を切替えて道路区画線認識を行なう装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、レーザーレーダー等の光信号送受信装置を備え、道路区画線に対して送出した光信号の反射光として受信される信号に基づいて、上記認識処理を切替えている。
【特許文献１】特開２００４−１３９３３８号公報
【非特許文献１】トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、レーザーレーダーの如き光信号送受信装置は、一般に車両に標準装備されているものではなく、新規にこれを搭載するには設置スペースやコストの問題が生じる。また、レーザーレーダーは、大雨や大雪、濃霧などの天候状況によっては、探知が難しくなるという問題点もある。
【０００６】
本発明はこのような課題を解決するためのものであり、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することが可能な道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を適切に認識可能な道路区画線認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の第１の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【０００８】
この本発明の第１の態様は、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に（すなわち道路長手方向に）連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定する。点列状道路区画線の場合、多くの特徴点が道路長手方向に連続して表れるということがないため、上記の如き判定により道路区画線が直線状道路区画線であるか否かを適切に判定することができる。また、カメラの撮像画像の解析により道路区画線の種別を判定するから、スペースやコストの問題が小さい。従って、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することができる。
【０００９】
本発明の第２の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段を備え、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【００１０】
本発明の第３の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、ブロック数記憶手段に記憶されたブロック数の、過去から直近までの平均が所定数以上である場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【００１１】
本発明の第４の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在すること、の少なくとも一方を満たす場合に、撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とするものである。
【００１２】
本発明の第５の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、ブロック数記憶手段に記憶されたブロック数の平均が所定数以上であること、の少なくとも一方を満たす場合に、撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とするものである。
【００１３】
本発明の第１、第４、又は第５の態様において、走査線上特徴点抽出手段は、好ましくは、走査線上の画像要素に対して所定のノイズ除去処理を施した後に、処理を施した走査線上で特徴点を抽出する手段である。
【００１４】
また、本発明の第２、第３、第４、又は第５の態様において、ブロック内特徴点抽出手段は、好ましくは、ブロック内の画像要素に対して所定のノイズ除去処理を施した後に、処理を施したブロック内で特徴点を抽出する手段である。
【００１５】
なお、走査線上の画像要素に対する所定のノイズ除去処理と、ブロック内の画像要素に対する所定のノイズ除去処理は、同一であってもよいし、異なってもよい。これらの（又は、これらのうちいずれかの）所定のノイズ除去処理は、好ましくは、モルフォロジー演算に基づくノイズ除去処理である。
【００１６】
本発明の第６の態様は、本発明のいずれかの態様の道路区画線種別判定装置を有し、撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置であって、直線状道路区画線を認識するのに適した第１の解析モードと、点列状道路区画線を認識するのに適した第２の解析モードと、を切替えて、撮像手段の撮像画像を解析する画像解析手段を備え、画像解析手段は、第２の解析モードで解析を行なっている際に本発明のいずれかの態様の道路区画線種別判定装置により撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定された場合に、第１の解析モードに切替えることを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することが可能な道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を適切に認識可能な道路区画線認識装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１９】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は、本発明の一実施例に係る道路区画線認識装置１の全体構成の一例を示す図である。道路区画線認識装置１は、主要なハードウエア構成として、カメラ１０と、画像解析装置２０と、を備える。道路区画線認識装置１は、カメラ１０の撮像画像を解析し、画像における道路区画線を認識する。
【００２０】
道路区画線には、白線や黄線等の任意の色により実線や破線、二重線等の態様で直線状に描画されたもの（以下、白線等と称する）と、ボッツドッツ（Botts Dots）やキャッツアイ等の道路に点列状に敷設又は描画されたもの（以下、ボッツドッツ等と称する）と、が存在する。白線等、及びボッツドッツ等のそれぞれに適した解析手法があるため、道路区画線認識装置１では、カメラ１０に撮像された道路区画線がいずれであるかを解析処理の中で適宜判定し、解析手法の切替処理を行なう。
【００２１】
なお、ボッツドッツは、主として北米で用いられる道路区画線であり、例えばセラミックからなる直径１００ｍｍ程度の立体状の円盤を複数並べて、路面に埋め込んだものである。また、キャッツアイは、略矩形状に形成された反射体を複数並べた道路区画線であり、入射光を同一の方向に反射する特性を有している。キャッツアイのみから構成される道路区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツやキャッツアイは、いずれも路面から僅かに突出した状態で配設されている。
【００２２】
カメラ１０は、車両周辺を撮像可能な任意の位置に取り付け可能である（以下の説明においては、車両前方を撮像するものとする）。また、カメラ１０は、例えば、所定の画素数（５００万画素等）を有するＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラが用いられる。カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号として画像解析装置２０に送信される。
【００２３】
画像解析装置２０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、入出力インターフェイスやタイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。カメラ１０の撮像画像は、ＲＡＭ（例えば、画面フレームメモリ）に記憶される。ＣＰＵは、ＲＡＭから必要に応じて、撮像画像（例えば、１フレーム分の画像信号）を読み出し、後述する解析処理を行なう。
【００２４】
画像解析装置２０は、上記の如きハードウエアを用いて実現される主要な機能ブロックとして、直線状道路区画線用解析処理部３０と、点列状道路区画線用解析処理部４０と、解析処理切替部５０と、を備える。
【００２５】
直線状道路区画線用解析処理部３０は、白線等を認識するのに適した解析手法によりカメラ１０の撮像画像を解析し、画像における道路区画線を認識する。具体的には、例えば、画像の下側（自車両手前側に相当する）の所定領域内で画像左右方向（道路幅方向に相当する）に延在する複数の走査線を設定し、当該走査線上で画像左右方向の輝度変化が第１の閾値以上の点を特徴点として抽出する。そして、ハフ変換等により直線状に並んだ特徴点を選択して、選択された特徴点を連ねた直線（又は曲線）を白線等の輪郭であると認識する。図２は、直線状道路区画線用解析処理部３０が走査線を設定して特徴点を抽出する様子を模式的に示す図である。なお、走査線は、等間隔に設定してもよいし、遠近法に基づき自車両手前側を広間隔に、自車両から遠い側を狭間隔に設定してもよい。また、画像信号はインターレース方式で送信されるため、実際には当該画像信号を所定区間に限定したものが走査線に相当する。
【００２６】
点列状道路区画線用解析処理部４０は、ボッツドッツ等を認識するのに適した解析手法によりカメラ１０の撮像画像を解析し、画像における道路区画線を認識する。点列状道路区画線用解析処理部４０は、更に細分化した機能ブロックとして、モルフォロジー演算部４２と、ノイズ除去部４４と、特徴点登録部４６と、を備える。
【００２７】
モルフォロジー演算部４２は、カメラ１０の撮像画像に対して、モルフォロジー演算に基づく処理を行なう。
【００２８】
具体的には、まず、シェーディング補正によりグレイスケール化した画像に第２の閾値を用いて２値化処理を行なった２値化画像（各画像要素の要素値が、例えば値０か１で表される画像）を生成する。すなわち、第２の閾値以上の輝度の画像要素の要素値を値１とし、第２の閾値未満の輝度の画像要素の要素値を値０と設定する。この第２の閾値は、前述した第１の閾値に比して小さい値である。なぜなら、白線等はアスファルト等の道路面とのコントラストが明確であり、閾値を大きくすることでノイズをより積極的に除去することができるからである。一方、ボッツドッツ等は道路面とのコントラストが白線等ほど明確でないため、閾値を余り大きくするとノイズ要素のみならずボッツドッツ等もが除去されてしまう場合があるからである。
【００２９】
ノイズ除去部４４は、モルフォロジー演算部４２が処理を行なった後の２値化画像要素に対して、ノイズ除去処理を行なう。具体的には、例えば、ボッツドッツ等よりも若干小さい程度の構造要素を用いてモルフォロジー演算におけるOpening処理を行なうことにより、ボッツドッツ等よりも小さいノイズを除去する。また、これに限られず、走査線上の画像要素から二次元画像を再生し、その中でパターンマッチングやハフ（Hough）変換等の処理を行なってもよい。
【００３０】
ここで、ボッツドッツは円形であるため、上記の如きノイズ除去処理を行なうと、走査線が端部にかかっている場合はノイズとして除去されることとなる。しかし、走査線の数を適切に設定することにより、一つのボッツドッツに対して数本の走査線がかかるようにすれば、そのうち何本かは後述する如く特徴点登録部４６によりボッツドッツ等として認識されることとなる（図３参照）。
【００３１】
特徴点登録部４６は、ノイズ除去部４４が処理を行なった後の画像要素に対して、残存する要素値１の画像要素を道路区画線であると認識し、当該画像要素の両端の座標（例えば、走査線のいずれかの端部から何ピクセル等と表現される）を道路区画線に係る特徴点としてＲＡＭに登録する。この登録された特徴点が、当該走査線上の道路区画線の輪郭であると認識されることとなる。なお、設定された複数の走査線のうち任意の１走査線について説明したが、全ての走査線について、同様の処理を行う。
【００３２】
解析処理切替部５０は、直線状道路区画線用解析処理部３０及び点列状道路区画線用解析処理部４０の各処理段階を参照し、カメラ１０に撮像された道路区画線が白線等とボッツドッツ等のいずれであるかを判定する。そして、判定結果に基づき、直線状道路区画線用解析処理部３０と点列状道路区画線用解析処理部４０とのいずれかに作動指示を行なってカメラ１０からの画像信号を提供する。
【００３３】
具体的運用としては、直線状道路区画線用解析処理部３０が作動している間は、白線等からボッツドッツ等に切り替わったか否かの判定を行ない、点列状道路区画線用解析処理部４０が作動している間は、ボッツドッツ等から白線等に切り替わったか否かの判定を行なう。
【００３４】
道路区画線が白線等からボッツドッツ等に切り替わったか否かの判定は、例えば、直線状道路区画線用解析処理部３０による白線等の認識処理の中でこれを認識不能となった（ロストした；現実には、前述した第１の閾値以上の点が検出されなかったこと等を指す）ことをもって白線等からボッツドッツ等に切り替わったと判定すればよい。白線等は、ボッツドッツ等に比してアスファルト等の道路面とのコントラストが明確であるため、こうした判定手法により十分な確からしさで道路区画線が白線等からボッツドッツ等に切り替わったか否かの判定を行なうことができる。
【００３５】
一方、ボッツドッツ等から白線等に切り替わったか否かの判定を、点列状道路区画線用解析処理部４０の認識処理の中で認識不能となったか否かにより行なうと、判定の精度が十分なものとはならない。なぜなら、ボッツドッツ等を認識するための解析ロジックにおいて、ボッツドッツ等よりも大きく道路面とのコントラストも明確な白線等がボッツドッツ等として誤認識されることが十分にあり得るからである。こうした誤認識がされたまま道路区画線の認識を継続すると、本来白線等を認識するのに適していない解析手法により白線等を認識することとなるから、例えば後述する如く道路区画線認識装置１の出力が車両制御に用いられた場合に車両のふらつきの一因となり、好ましくない。
【００３６】
そこで、ボッツドッツ等から白線等に切り替わったか否かの判定を行なうため、解析処理切替部５０は、更に細分化した機能ブロックとして、走査線上特徴点抽出部５２と、ブロック内特徴点抽出部５４と、切替判定部５６と、を備える。
【００３７】
走査線上特徴点抽出部５２は、モルフォロジー演算部４２が設定した各走査線上で、特徴点登録部４６が登録した特徴点を抽出し、各走査線上の特徴点の数を、ＲＡＭに出力する。
【００３８】
ブロック内特徴点抽出部５４は、ノイズ除去部４４が処理を行なった後の画像要素から元の画像を再生すると共に、再生した画像上に複数の（例えば、３０個等）ブロックを設定し、特徴点が含まれるブロックの数をＲＡＭに出力する。当該ブロックは、自車両の両側から自車両前方にかけて（道路長手方向に並べて）設定される（図４参照）。なお、ブロックの設定についても、走査線の設定と同様に、同一幅（道路長手方向の長さ）のブロックを並べてもよいし、自車両手前側のブロックの幅が広くなるように設定してもよい。
【００３９】
切替判定部５６は、走査線上特徴点抽出部５２とブロック内特徴点抽出部５４の出力を参照し、図５に示すフローチャートに従って、ボッツドッツ等から白線等に切り替わったか否かの判定を行なう。従って、本フローは、白線等からボッツドッツ等に切り替わったと判定され、点列状道路区画線用解析処理部４０が作動開始した際に、開始される。
【００４０】
まず、切替判定部５６は、走査線上特徴点抽出部５２の出力を参照し、４点（ボッツドッツ等の両端２点×自車両の両側、で４点となる）以上の特徴点が存在する走査線が、画像上下方向に連続して最大何本あるか（以下、最大連続数と称する）を計算する（Ｓ１００）。
【００４１】
そして、最大連続数が所定本数（例えば、数本〜数十本程度、より具体的には、６本程度）以上であるか否かを判定し（Ｓ１１０）、最大連続数が所定本数以上である場合には、カメラ１０に撮像された道路区画線が白線等であると判定し（Ｓ１２０）、直線状道路区画線用解析処理部３０に作動指示を、点列状道路区画線用解析処理部４０に停止指示をそれぞれ送信して、直線状道路区画線用解析処理部３０にカメラ１０からの画像信号の提供を開始し（Ｓ１３０）、本フローの１ルーチンを終了する。
【００４２】
ここで、所定本数は、道路区画線がボッツドッツ等である場合には計数されない程度の本数に予め定められる適合値である。すなわち、ボッツドッツ等の存在により検出される特徴点は、道路長手方向に高密度で検出される性質のものではないため、道路区画線がボッツドッツ等である場合に計数される最大連続数には限界が生じる。従って、これに閾値を設けて上記の如き判定を行なうことにより、道路区画線が白線等に切り替わったことが適切に判定される。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４３】
一方、最大連続数が所定本数未満である場合には、ブロック内特徴点抽出部５４の出力を参照し、左右の（自車両両側それぞれの、の意である）平均有効ブロック数を計算する（Ｓ１４０）。ここで、有効ブロック数とは、特徴点が含まれるブロックの数であり、平均有効ブロック数とは、過去数十フレーム（フレームとは、一度に送信される画像信号の単位＝１画像分の画像信号をいう）分の有効ブロック数をＲＡＭに記憶して平均を求めたものである。なお、「平均」とは、算術平均、加重平均、幾何平均、調和平均のいずれであってもよい。
【００４４】
そして、左右の平均有効ブロック数が共に所定数（例えば、十〜数十ブロック等、より具体的には、２５ブロック程度）以上であるか否かを判定し（Ｓ１５０）、左右の平均有効ブロック数が共に所定数以上である場合には、Ｓ１２０及びＳ１３０の処理を行なって、本フローの１ルーチンを終了する。
【００４５】
ここで、所定数は、最大連続数に対する所定本数と同様、道路区画線がボッツドッツ等である場合には計数されない程度のブロック数に予め定められる適合値である。すなわち、ボッツドッツ等の存在により検出される特徴点は、道路長手方向に高密度で検出される性質のものではないため、道路区画線がボッツドッツ等である場合に計数される平均有効ブロック数には限界が生じる。従って、これに閾値を設けて上記の如き判定を行なうことにより、道路区画線が白線等に切り替わったことが適切に判定される。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４６】
本実施例における最大連続数に関する判定と、平均有効ブロック数に関する判定は、相互に補完する性質のものである。すなわち、誤認識により実際には白線等に切り替わっているにも拘らず道路区画線が白線等であると判定されないような不都合を抑制している。この誤認識の原因としては、例えば、実際の道路において白線等が部分的に薄くなっていることによりボッツドッツ等であると認識してしまうことが考えられる。また、白線等には実線や破線等の形状の差異や着色の差異等があって、それぞれに適した判別パラメータが存在するため画一的且つ正確に判定することが困難なことも原因として考えられる。こうした性質に鑑み、例えば、最大連続数に対する所定本数を破線１本分に相当する本数に定め、平均有効ブロック数に対する所定数を破線１本分よりも長い距離に相当するブロック数に定めると好適である。このような設計により、いずれか一方により判定を行なうものに比して、正確かつ漏れの少ない判定を行なうことができる。また、破線の長さを基準とした設計にしなくとも、道路上のノイズやカメラ１０の受光量条件等に起因する何らかの阻害要因により一方が白線に切り替わったと判定できなかった場合に、他方が白線に切り替わったと判定することで、正確かつ漏れの少ない判定を行なうことができる。なお、両判定の判定順序は図５のフローチャートと逆であってもよい。
【００４７】
最大連続数が所定本数未満であり、且つ、左右の平均有効ブロック数の少なくとも一方が所定数未満である場合は、カメラ１０に撮像された道路区画線がボッツドッツ等であると判定し（Ｓ１６０）、直線状道路区画線用解析処理部３０への画像信号の提供を継続する（Ｓ１７０）。
【００４８】
以上説明した本実施例の道路区画線認識装置１によれば、最大連続数に対する所定本数や平均有効ブロック数に対する所定数を、道路区画線がボッツドッツ等である場合には計数されない程度の適合値に予め設定し、最大連続数や平均有効ブロック数が所定本数や所定数以上となったか否かの判定を行なうから、道路区画線が白線等に切り替わったことを適切に判定することができる。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４９】
また、前述の如く、最大連続数に関する判定と平均有効ブロック数に関する判定との相互補完により、いずれか一方により判定を行なうものに比して、正確かつ漏れの少ない判定を行なうことができる。
【００５０】
また、レーザーレーダー等の装置を備えることなく画像解析のみでこれらを行なうから、設備コストや設置スペースの問題を抑制することができる。
【００５１】
なお、道路区画線認識装置１により認識された道路区画線は、例えば、カメラ座標系から実座標系（上空から見た現実の座標系）に写像され、車両の走行支援に用いられる。なお、写像には、カメラ１０の設置パラメータ（高さ、光軸角度、ロール、焦点距離等）が考慮される。また、写像は、上記の道路区画線認識装置１の処理に先立って行なわれてもよい。
【００５２】
図６は、本実施例の道路区画線認識装置１が、車両の走行制御を行なう制御システムに接続された適用例を示す図である。図示する如く、道路区画線認識装置１の画像解析装置２０には、通信回線を介して車両の走行支援を行う走行支援ＥＣＵ６０が接続されている。画像解析装置２０は、認識した道路区画線の情報（道路区画線上の各点の、自車両を基準とした実座標系上の座標等）を走行支援ＥＣＵ６０に通信回線を介して送信する。
【００５３】
走行支援ＥＣＵ６０には、走行支援の主電源をオン状態又はオフ状態にするメインスイッチ６１が接続されている。メインスイッチ６１のオン／オフ状態は、通信回線を介して、画像解析装置２０に送信される。
【００５４】
走行支援ＥＣＵ６０は、多重通信線６３に接続されている。また、多重通信線６３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングＥＣＵ（ＥＭＰＳ−ＥＣＵ）６５が接続されている。さらに、多重通信線６３には、エンジンを統合的に制御するエンジンＥＣＵ（ＥＦＩ−ＥＣＵ）６７と、メータパネルの表示等を制御するメータＥＣＵ６９とが接続されている。これら走行支援ＥＣＵ６０、ＥＭＰＳ−ＥＣＵ６５、ＥＦＩ−ＥＣＵ６７、メータＥＣＵ６９は、多重通信線６３を介して、ＣＡＮプロトコル等に基づいた、双方向のデータ通信を行う。
【００５５】
ＥＭＰＳ−ＥＣＵ６５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ６５ａが接続されている。ＥＭＰＳ−ＥＣＵ６５は、走行支援ＥＣＵ６０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ６５ａを駆動制御する。
【００５６】
ＥＦＩ−ＥＣＵ６７には、車速を検出する車速センサ６７ａと、ステアリングの操舵角を検出する操舵角センサ６７ｂが接続されている。車速センサ６７ａにより検出された車速、および操舵角センサ６７ｂにより検出された操舵角は、ＥＦＩ−ＥＣＵ６７および多重通信線６３を介して、走行支援ＥＣＵ６０に送信される。
【００５７】
走行支援ＥＣＵ６０は、走行支援の前段階の処理として、前述した如く、道路区画線検出装置１から送信された道路区画線のデータを実座標系（上空から見た現実の座標系）に写像し、写像後のデータに基づいて道路区画線に対する自車両の車両姿勢（道路区画線に対する自車両進行方向の傾斜；ヨー角、及び走行車線の中心線に対する自車両基準位置の道路幅方向における変位；オフセット等）を推定する。
【００５８】
そして、当該推定した道路区画線に対する自車両の車両姿勢と運転者の運転状況と基づいて、その後の車両姿勢を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータＥＣＵ６９に送信する（車線逸脱制御）。メータＥＣＵ６９は、走行支援ＥＣＵ６０からの警報信号を受信すると、ブザー６９ａに警告音を発生させ、及び／又は警告ランプ６９ｂを点灯させる。
【００５９】
また、走行支援ＥＣＵ６０は、上記推定した自車両の車両姿勢と、車速センサ６７ａにより検出された車速と、操舵角センサ６７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、ＥＭＰＳ−ＥＣＵ６５に送信する（車線維持制御）。ＥＭＰＳ−ＥＣＵ６５は、走行支援ＥＣＵ６０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ６５ａを制御する。
【００６０】
以上、走行支援ＥＣＵ６０は、道路区画線検出装置１により検出された区画線に基づいて、適切に車線逸脱制御及び／又は車線維持制御を行うことが可能となる。すなわち、誤判定や誤認識による車両のふらつきを抑制しつつ車両制御を行なうことができる。
【００６１】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００６２】
例えば、平均有効ブロック数に関する判定（Ｓ１４０、１５０）に代えて、単に有効ブロック数に関する判定を行なってもよい。すなわち、過去数十フレーム分の有効ブロック数をＲＡＭに記憶する処理を省略し、直近で計算された有効ブロック数（実施例と同義）が予め設定された所定数（実施例の所定数と同様の性質であり、数値的には近いものとなることが予想される）以上となった場合に、白線等と判定する。
【００６３】
また、最大連続数に関する判定、平均有効ブロック数に関する判定、及び、上記有効ブロック数に関する判定のいずれか一つを行なって、道路区画線が白線等であるか否かを判定するものとしても構わない。この場合、実施例で述べた相互補完効果は得られないこととなるが、制御を簡易化して処理負担を軽減、及び処理時間を短縮することができる。
【００６４】
また、モルフォロジー演算を２値化画像要素に対して行なうものに限られず、モルフォロジー演算をグレイスケール画像やプログレッシブ画像に対しても行なうことができる。これらの場合、多次元の構造要素を用いると好適である。
【００６５】
また、直線状道路区画線用解析処理部３０の機能は実施例のものに限定されず、例えばＳＯＢＥＬフィルター等を用いた解析処理を行なってもよい。
【産業上の利用可能性】
【００６６】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施例に係る道路区画線認識装置１の全体構成の一例を示す図である。
【図２】直線状道路区画線用解析処理部３０が走査線を設定して特徴点を抽出する様子を模式的に示す図である。
【図３】ボッツドッツと走査線との位置関係に基づき、ボッツドッツ等と認識されたりノイズと認識されたりする様子を示す図である。
【図４】ブロック内特徴点抽出部５４が画像上に複数のブロックを設定する様子を示す図である。
【図５】切替判定部５６が実行する本発明の特徴的な処理を示すフローチャートである。
【図６】本実施例の道路区画線認識装置１が、車両の走行制御を行なう制御システムに接続された適用例を示す図である。
【符号の説明】
【００６８】
１ 道路区画線認識装置
１０ カメラ
２０ 画像解析装置
３０ 直線状道路区画線用解析処理部
４０ 点列状道路区画線用解析処理部
４２ モルフォロジー演算部
４４ ノイズ除去部
４６ 特徴点登録部
５０ 解析処理切替部
５２ 走査線上特徴点抽出部
５４ ブロック内特徴点抽出部
５６ 切替判定部
６０ 走行支援ＥＣＵ
【技術分野】
【０００１】
本発明は、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置に関する。
【背景技術】
【０００２】
従来、車両前方又は後方を撮像するカメラの画像上で白線等の道路区画線を認識し、これに基づいて自車両が走行車線内を走行するように自動的に補助操舵力を出力する制御システムが、レーンキーピングアシスト（ＬＫＡ）等の名称で知られている（例えば、非特許文献１参照）。このような制御システムでは、例えば、カメラの画像データを構成する画像要素のうち、隣接する画像要素と比較した輝度変化が閾値以上のものを特徴点として抽出し、直線状（又は曲線状）に並んだ特徴点を白線等の輪郭と認識する等の処理が行なわれる。
【０００３】
ところで、カメラに撮像される道路区画線は、白線や黄線で描画された実線や破線等の直線状のもの（以下、白線等と称する）だけでなく、ボッツドッツ（Ｂｏｔｔｓ Ｄｏｔｓ）やキャッツアイ等の道路に点列状に敷設又は描画されたもの（以下、ボッツドッツ等と称する）が存在しうる。従って、画像上で道路区画線を認識する際には、白線等とボッツドッツ等で画像解析のモード（手法）を切替えることが望ましい。なぜなら、両者の間で、道路（アスファルト）との輝度差や出現する特徴点の形状が異なり、同一の解析手法を用いて両者を画一的に認識するのは精度の低下を招くからである。
【０００４】
白線等を認識するための輝度変化に基づく認識処理と、ボッツドッツ等を認識するためのパターンマッチングに基づく認識処理と、を切替えて道路区画線認識を行なう装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、レーザーレーダー等の光信号送受信装置を備え、道路区画線に対して送出した光信号の反射光として受信される信号に基づいて、上記認識処理を切替えている。
【特許文献１】特開２００４−１３９３３８号公報
【非特許文献１】トヨタ自動車株式会社、「クラウンマジェスタ新型車解説書（品番７１０９１００）」、トヨタ自動車株式会社サービス部、２００４年７月５日発行、第１０章ボデー＆エレクトリカル、ｐ１０−２８７〜１０−３０６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、レーザーレーダーの如き光信号送受信装置は、一般に車両に標準装備されているものではなく、新規にこれを搭載するには設置スペースやコストの問題が生じる。また、レーザーレーダーは、大雨や大雪、濃霧などの天候状況によっては、探知が難しくなるという問題点もある。
【０００６】
本発明はこのような課題を解決するためのものであり、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することが可能な道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を適切に認識可能な道路区画線認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の第１の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【０００８】
この本発明の第１の態様は、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、複数の走査線が並べられた方向に（すなわち道路長手方向に）連続して所定本数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定する。点列状道路区画線の場合、多くの特徴点が道路長手方向に連続して表れるということがないため、上記の如き判定により道路区画線が直線状道路区画線であるか否かを適切に判定することができる。また、カメラの撮像画像の解析により道路区画線の種別を判定するから、スペースやコストの問題が小さい。従って、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することができる。
【０００９】
本発明の第２の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段を備え、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在する場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【００１０】
本発明の第３の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、ブロック数記憶手段に記憶されたブロック数の、過去から直近までの平均が所定数以上である場合に、撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定することを特徴とするものである。
【００１１】
本発明の第４の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在すること、の少なくとも一方を満たす場合に、撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とするものである。
【００１２】
本発明の第５の態様は、車両周辺を撮像する撮像手段を備え、撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、ブロック数記憶手段に記憶されたブロック数の平均が所定数以上であること、の少なくとも一方を満たす場合に、撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とするものである。
【００１３】
本発明の第１、第４、又は第５の態様において、走査線上特徴点抽出手段は、好ましくは、走査線上の画像要素に対して所定のノイズ除去処理を施した後に、処理を施した走査線上で特徴点を抽出する手段である。
【００１４】
また、本発明の第２、第３、第４、又は第５の態様において、ブロック内特徴点抽出手段は、好ましくは、ブロック内の画像要素に対して所定のノイズ除去処理を施した後に、処理を施したブロック内で特徴点を抽出する手段である。
【００１５】
なお、走査線上の画像要素に対する所定のノイズ除去処理と、ブロック内の画像要素に対する所定のノイズ除去処理は、同一であってもよいし、異なってもよい。これらの（又は、これらのうちいずれかの）所定のノイズ除去処理は、好ましくは、モルフォロジー演算に基づくノイズ除去処理である。
【００１６】
本発明の第６の態様は、本発明のいずれかの態様の道路区画線種別判定装置を有し、撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置であって、直線状道路区画線を認識するのに適した第１の解析モードと、点列状道路区画線を認識するのに適した第２の解析モードと、を切替えて、撮像手段の撮像画像を解析する画像解析手段を備え、画像解析手段は、第２の解析モードで解析を行なっている際に本発明のいずれかの態様の道路区画線種別判定装置により撮像手段の撮像画像上の道路区画線が直線状道路区画線であると判定された場合に、第１の解析モードに切替えることを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、簡易な構成により撮像手段に撮像された道路区画線の種別を適切に判定することが可能な道路区画線種別判定装置、及び、これを一部に含み撮像手段の撮像画像における道路区画線を適切に認識可能な道路区画線認識装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１９】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は、本発明の一実施例に係る道路区画線認識装置１の全体構成の一例を示す図である。道路区画線認識装置１は、主要なハードウエア構成として、カメラ１０と、画像解析装置２０と、を備える。道路区画線認識装置１は、カメラ１０の撮像画像を解析し、画像における道路区画線を認識する。
【００２０】
道路区画線には、白線や黄線等の任意の色により実線や破線、二重線等の態様で直線状に描画されたもの（以下、白線等と称する）と、ボッツドッツ（Botts Dots）やキャッツアイ等の道路に点列状に敷設又は描画されたもの（以下、ボッツドッツ等と称する）と、が存在する。白線等、及びボッツドッツ等のそれぞれに適した解析手法があるため、道路区画線認識装置１では、カメラ１０に撮像された道路区画線がいずれであるかを解析処理の中で適宜判定し、解析手法の切替処理を行なう。
【００２１】
なお、ボッツドッツは、主として北米で用いられる道路区画線であり、例えばセラミックからなる直径１００ｍｍ程度の立体状の円盤を複数並べて、路面に埋め込んだものである。また、キャッツアイは、略矩形状に形成された反射体を複数並べた道路区画線であり、入射光を同一の方向に反射する特性を有している。キャッツアイのみから構成される道路区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツやキャッツアイは、いずれも路面から僅かに突出した状態で配設されている。
【００２２】
カメラ１０は、車両周辺を撮像可能な任意の位置に取り付け可能である（以下の説明においては、車両前方を撮像するものとする）。また、カメラ１０は、例えば、所定の画素数（５００万画素等）を有するＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラが用いられる。カメラ１０の撮像画像は、例えばＮＴＳＣ（National Television Standards Committee）等のインターレース方式により生成される画像信号として画像解析装置２０に送信される。
【００２３】
画像解析装置２０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、入出力インターフェイスやタイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。カメラ１０の撮像画像は、ＲＡＭ（例えば、画面フレームメモリ）に記憶される。ＣＰＵは、ＲＡＭから必要に応じて、撮像画像（例えば、１フレーム分の画像信号）を読み出し、後述する解析処理を行なう。
【００２４】
画像解析装置２０は、上記の如きハードウエアを用いて実現される主要な機能ブロックとして、直線状道路区画線用解析処理部３０と、点列状道路区画線用解析処理部４０と、解析処理切替部５０と、を備える。
【００２５】
直線状道路区画線用解析処理部３０は、白線等を認識するのに適した解析手法によりカメラ１０の撮像画像を解析し、画像における道路区画線を認識する。具体的には、例えば、画像の下側（自車両手前側に相当する）の所定領域内で画像左右方向（道路幅方向に相当する）に延在する複数の走査線を設定し、当該走査線上で画像左右方向の輝度変化が第１の閾値以上の点を特徴点として抽出する。そして、ハフ変換等により直線状に並んだ特徴点を選択して、選択された特徴点を連ねた直線（又は曲線）を白線等の輪郭であると認識する。図２は、直線状道路区画線用解析処理部３０が走査線を設定して特徴点を抽出する様子を模式的に示す図である。なお、走査線は、等間隔に設定してもよいし、遠近法に基づき自車両手前側を広間隔に、自車両から遠い側を狭間隔に設定してもよい。また、画像信号はインターレース方式で送信されるため、実際には当該画像信号を所定区間に限定したものが走査線に相当する。
【００２６】
点列状道路区画線用解析処理部４０は、ボッツドッツ等を認識するのに適した解析手法によりカメラ１０の撮像画像を解析し、画像における道路区画線を認識する。点列状道路区画線用解析処理部４０は、更に細分化した機能ブロックとして、モルフォロジー演算部４２と、ノイズ除去部４４と、特徴点登録部４６と、を備える。
【００２７】
モルフォロジー演算部４２は、カメラ１０の撮像画像に対して、モルフォロジー演算に基づく処理を行なう。
【００２８】
具体的には、まず、シェーディング補正によりグレイスケール化した画像に第２の閾値を用いて２値化処理を行なった２値化画像（各画像要素の要素値が、例えば値０か１で表される画像）を生成する。すなわち、第２の閾値以上の輝度の画像要素の要素値を値１とし、第２の閾値未満の輝度の画像要素の要素値を値０と設定する。この第２の閾値は、前述した第１の閾値に比して小さい値である。なぜなら、白線等はアスファルト等の道路面とのコントラストが明確であり、閾値を大きくすることでノイズをより積極的に除去することができるからである。一方、ボッツドッツ等は道路面とのコントラストが白線等ほど明確でないため、閾値を余り大きくするとノイズ要素のみならずボッツドッツ等もが除去されてしまう場合があるからである。
【００２９】
ノイズ除去部４４は、モルフォロジー演算部４２が処理を行なった後の２値化画像要素に対して、ノイズ除去処理を行なう。具体的には、例えば、ボッツドッツ等よりも若干小さい程度の構造要素を用いてモルフォロジー演算におけるOpening処理を行なうことにより、ボッツドッツ等よりも小さいノイズを除去する。また、これに限られず、走査線上の画像要素から二次元画像を再生し、その中でパターンマッチングやハフ（Hough）変換等の処理を行なってもよい。
【００３０】
ここで、ボッツドッツは円形であるため、上記の如きノイズ除去処理を行なうと、走査線が端部にかかっている場合はノイズとして除去されることとなる。しかし、走査線の数を適切に設定することにより、一つのボッツドッツに対して数本の走査線がかかるようにすれば、そのうち何本かは後述する如く特徴点登録部４６によりボッツドッツ等として認識されることとなる（図３参照）。
【００３１】
特徴点登録部４６は、ノイズ除去部４４が処理を行なった後の画像要素に対して、残存する要素値１の画像要素を道路区画線であると認識し、当該画像要素の両端の座標（例えば、走査線のいずれかの端部から何ピクセル等と表現される）を道路区画線に係る特徴点としてＲＡＭに登録する。この登録された特徴点が、当該走査線上の道路区画線の輪郭であると認識されることとなる。なお、設定された複数の走査線のうち任意の１走査線について説明したが、全ての走査線について、同様の処理を行う。
【００３２】
解析処理切替部５０は、直線状道路区画線用解析処理部３０及び点列状道路区画線用解析処理部４０の各処理段階を参照し、カメラ１０に撮像された道路区画線が白線等とボッツドッツ等のいずれであるかを判定する。そして、判定結果に基づき、直線状道路区画線用解析処理部３０と点列状道路区画線用解析処理部４０とのいずれかに作動指示を行なってカメラ１０からの画像信号を提供する。
【００３３】
具体的運用としては、直線状道路区画線用解析処理部３０が作動している間は、白線等からボッツドッツ等に切り替わったか否かの判定を行ない、点列状道路区画線用解析処理部４０が作動している間は、ボッツドッツ等から白線等に切り替わったか否かの判定を行なう。
【００３４】
道路区画線が白線等からボッツドッツ等に切り替わったか否かの判定は、例えば、直線状道路区画線用解析処理部３０による白線等の認識処理の中でこれを認識不能となった（ロストした；現実には、前述した第１の閾値以上の点が検出されなかったこと等を指す）ことをもって白線等からボッツドッツ等に切り替わったと判定すればよい。白線等は、ボッツドッツ等に比してアスファルト等の道路面とのコントラストが明確であるため、こうした判定手法により十分な確からしさで道路区画線が白線等からボッツドッツ等に切り替わったか否かの判定を行なうことができる。
【００３５】
一方、ボッツドッツ等から白線等に切り替わったか否かの判定を、点列状道路区画線用解析処理部４０の認識処理の中で認識不能となったか否かにより行なうと、判定の精度が十分なものとはならない。なぜなら、ボッツドッツ等を認識するための解析ロジックにおいて、ボッツドッツ等よりも大きく道路面とのコントラストも明確な白線等がボッツドッツ等として誤認識されることが十分にあり得るからである。こうした誤認識がされたまま道路区画線の認識を継続すると、本来白線等を認識するのに適していない解析手法により白線等を認識することとなるから、例えば後述する如く道路区画線認識装置１の出力が車両制御に用いられた場合に車両のふらつきの一因となり、好ましくない。
【００３６】
そこで、ボッツドッツ等から白線等に切り替わったか否かの判定を行なうため、解析処理切替部５０は、更に細分化した機能ブロックとして、走査線上特徴点抽出部５２と、ブロック内特徴点抽出部５４と、切替判定部５６と、を備える。
【００３７】
走査線上特徴点抽出部５２は、モルフォロジー演算部４２が設定した各走査線上で、特徴点登録部４６が登録した特徴点を抽出し、各走査線上の特徴点の数を、ＲＡＭに出力する。
【００３８】
ブロック内特徴点抽出部５４は、ノイズ除去部４４が処理を行なった後の画像要素から元の画像を再生すると共に、再生した画像上に複数の（例えば、３０個等）ブロックを設定し、特徴点が含まれるブロックの数をＲＡＭに出力する。当該ブロックは、自車両の両側から自車両前方にかけて（道路長手方向に並べて）設定される（図４参照）。なお、ブロックの設定についても、走査線の設定と同様に、同一幅（道路長手方向の長さ）のブロックを並べてもよいし、自車両手前側のブロックの幅が広くなるように設定してもよい。
【００３９】
切替判定部５６は、走査線上特徴点抽出部５２とブロック内特徴点抽出部５４の出力を参照し、図５に示すフローチャートに従って、ボッツドッツ等から白線等に切り替わったか否かの判定を行なう。従って、本フローは、白線等からボッツドッツ等に切り替わったと判定され、点列状道路区画線用解析処理部４０が作動開始した際に、開始される。
【００４０】
まず、切替判定部５６は、走査線上特徴点抽出部５２の出力を参照し、４点（ボッツドッツ等の両端２点×自車両の両側、で４点となる）以上の特徴点が存在する走査線が、画像上下方向に連続して最大何本あるか（以下、最大連続数と称する）を計算する（Ｓ１００）。
【００４１】
そして、最大連続数が所定本数（例えば、数本〜数十本程度、より具体的には、６本程度）以上であるか否かを判定し（Ｓ１１０）、最大連続数が所定本数以上である場合には、カメラ１０に撮像された道路区画線が白線等であると判定し（Ｓ１２０）、直線状道路区画線用解析処理部３０に作動指示を、点列状道路区画線用解析処理部４０に停止指示をそれぞれ送信して、直線状道路区画線用解析処理部３０にカメラ１０からの画像信号の提供を開始し（Ｓ１３０）、本フローの１ルーチンを終了する。
【００４２】
ここで、所定本数は、道路区画線がボッツドッツ等である場合には計数されない程度の本数に予め定められる適合値である。すなわち、ボッツドッツ等の存在により検出される特徴点は、道路長手方向に高密度で検出される性質のものではないため、道路区画線がボッツドッツ等である場合に計数される最大連続数には限界が生じる。従って、これに閾値を設けて上記の如き判定を行なうことにより、道路区画線が白線等に切り替わったことが適切に判定される。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４３】
一方、最大連続数が所定本数未満である場合には、ブロック内特徴点抽出部５４の出力を参照し、左右の（自車両両側それぞれの、の意である）平均有効ブロック数を計算する（Ｓ１４０）。ここで、有効ブロック数とは、特徴点が含まれるブロックの数であり、平均有効ブロック数とは、過去数十フレーム（フレームとは、一度に送信される画像信号の単位＝１画像分の画像信号をいう）分の有効ブロック数をＲＡＭに記憶して平均を求めたものである。なお、「平均」とは、算術平均、加重平均、幾何平均、調和平均のいずれであってもよい。
【００４４】
そして、左右の平均有効ブロック数が共に所定数（例えば、十〜数十ブロック等、より具体的には、２５ブロック程度）以上であるか否かを判定し（Ｓ１５０）、左右の平均有効ブロック数が共に所定数以上である場合には、Ｓ１２０及びＳ１３０の処理を行なって、本フローの１ルーチンを終了する。
【００４５】
ここで、所定数は、最大連続数に対する所定本数と同様、道路区画線がボッツドッツ等である場合には計数されない程度のブロック数に予め定められる適合値である。すなわち、ボッツドッツ等の存在により検出される特徴点は、道路長手方向に高密度で検出される性質のものではないため、道路区画線がボッツドッツ等である場合に計数される平均有効ブロック数には限界が生じる。従って、これに閾値を設けて上記の如き判定を行なうことにより、道路区画線が白線等に切り替わったことが適切に判定される。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４６】
本実施例における最大連続数に関する判定と、平均有効ブロック数に関する判定は、相互に補完する性質のものである。すなわち、誤認識により実際には白線等に切り替わっているにも拘らず道路区画線が白線等であると判定されないような不都合を抑制している。この誤認識の原因としては、例えば、実際の道路において白線等が部分的に薄くなっていることによりボッツドッツ等であると認識してしまうことが考えられる。また、白線等には実線や破線等の形状の差異や着色の差異等があって、それぞれに適した判別パラメータが存在するため画一的且つ正確に判定することが困難なことも原因として考えられる。こうした性質に鑑み、例えば、最大連続数に対する所定本数を破線１本分に相当する本数に定め、平均有効ブロック数に対する所定数を破線１本分よりも長い距離に相当するブロック数に定めると好適である。このような設計により、いずれか一方により判定を行なうものに比して、正確かつ漏れの少ない判定を行なうことができる。また、破線の長さを基準とした設計にしなくとも、道路上のノイズやカメラ１０の受光量条件等に起因する何らかの阻害要因により一方が白線に切り替わったと判定できなかった場合に、他方が白線に切り替わったと判定することで、正確かつ漏れの少ない判定を行なうことができる。なお、両判定の判定順序は図５のフローチャートと逆であってもよい。
【００４７】
最大連続数が所定本数未満であり、且つ、左右の平均有効ブロック数の少なくとも一方が所定数未満である場合は、カメラ１０に撮像された道路区画線がボッツドッツ等であると判定し（Ｓ１６０）、直線状道路区画線用解析処理部３０への画像信号の提供を継続する（Ｓ１７０）。
【００４８】
以上説明した本実施例の道路区画線認識装置１によれば、最大連続数に対する所定本数や平均有効ブロック数に対する所定数を、道路区画線がボッツドッツ等である場合には計数されない程度の適合値に予め設定し、最大連続数や平均有効ブロック数が所定本数や所定数以上となったか否かの判定を行なうから、道路区画線が白線等に切り替わったことを適切に判定することができる。そして、道路区画線が白線等に切り替わった際には、速やかに直線状道路区画線用解析処理部３０による解析処理に切り替わることとなるから、道路区画線がボッツドッツ等から白線等に切り替わる前後に亘って適切に道路区画線を認識することができる。
【００４９】
また、前述の如く、最大連続数に関する判定と平均有効ブロック数に関する判定との相互補完により、いずれか一方により判定を行なうものに比して、正確かつ漏れの少ない判定を行なうことができる。
【００５０】
また、レーザーレーダー等の装置を備えることなく画像解析のみでこれらを行なうから、設備コストや設置スペースの問題を抑制することができる。
【００５１】
なお、道路区画線認識装置１により認識された道路区画線は、例えば、カメラ座標系から実座標系（上空から見た現実の座標系）に写像され、車両の走行支援に用いられる。なお、写像には、カメラ１０の設置パラメータ（高さ、光軸角度、ロール、焦点距離等）が考慮される。また、写像は、上記の道路区画線認識装置１の処理に先立って行なわれてもよい。
【００５２】
図６は、本実施例の道路区画線認識装置１が、車両の走行制御を行なう制御システムに接続された適用例を示す図である。図示する如く、道路区画線認識装置１の画像解析装置２０には、通信回線を介して車両の走行支援を行う走行支援ＥＣＵ６０が接続されている。画像解析装置２０は、認識した道路区画線の情報（道路区画線上の各点の、自車両を基準とした実座標系上の座標等）を走行支援ＥＣＵ６０に通信回線を介して送信する。
【００５３】
走行支援ＥＣＵ６０には、走行支援の主電源をオン状態又はオフ状態にするメインスイッチ６１が接続されている。メインスイッチ６１のオン／オフ状態は、通信回線を介して、画像解析装置２０に送信される。
【００５４】
走行支援ＥＣＵ６０は、多重通信線６３に接続されている。また、多重通信線６３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングＥＣＵ（ＥＭＰＳ−ＥＣＵ）６５が接続されている。さらに、多重通信線６３には、エンジンを統合的に制御するエンジンＥＣＵ（ＥＦＩ−ＥＣＵ）６７と、メータパネルの表示等を制御するメータＥＣＵ６９とが接続されている。これら走行支援ＥＣＵ６０、ＥＭＰＳ−ＥＣＵ６５、ＥＦＩ−ＥＣＵ６７、メータＥＣＵ６９は、多重通信線６３を介して、ＣＡＮプロトコル等に基づいた、双方向のデータ通信を行う。
【００５５】
ＥＭＰＳ−ＥＣＵ６５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ６５ａが接続されている。ＥＭＰＳ−ＥＣＵ６５は、走行支援ＥＣＵ６０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ６５ａを駆動制御する。
【００５６】
ＥＦＩ−ＥＣＵ６７には、車速を検出する車速センサ６７ａと、ステアリングの操舵角を検出する操舵角センサ６７ｂが接続されている。車速センサ６７ａにより検出された車速、および操舵角センサ６７ｂにより検出された操舵角は、ＥＦＩ−ＥＣＵ６７および多重通信線６３を介して、走行支援ＥＣＵ６０に送信される。
【００５７】
走行支援ＥＣＵ６０は、走行支援の前段階の処理として、前述した如く、道路区画線検出装置１から送信された道路区画線のデータを実座標系（上空から見た現実の座標系）に写像し、写像後のデータに基づいて道路区画線に対する自車両の車両姿勢（道路区画線に対する自車両進行方向の傾斜；ヨー角、及び走行車線の中心線に対する自車両基準位置の道路幅方向における変位；オフセット等）を推定する。
【００５８】
そして、当該推定した道路区画線に対する自車両の車両姿勢と運転者の運転状況と基づいて、その後の車両姿勢を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータＥＣＵ６９に送信する（車線逸脱制御）。メータＥＣＵ６９は、走行支援ＥＣＵ６０からの警報信号を受信すると、ブザー６９ａに警告音を発生させ、及び／又は警告ランプ６９ｂを点灯させる。
【００５９】
また、走行支援ＥＣＵ６０は、上記推定した自車両の車両姿勢と、車速センサ６７ａにより検出された車速と、操舵角センサ６７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、ＥＭＰＳ−ＥＣＵ６５に送信する（車線維持制御）。ＥＭＰＳ−ＥＣＵ６５は、走行支援ＥＣＵ６０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ６５ａを制御する。
【００６０】
以上、走行支援ＥＣＵ６０は、道路区画線検出装置１により検出された区画線に基づいて、適切に車線逸脱制御及び／又は車線維持制御を行うことが可能となる。すなわち、誤判定や誤認識による車両のふらつきを抑制しつつ車両制御を行なうことができる。
【００６１】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００６２】
例えば、平均有効ブロック数に関する判定（Ｓ１４０、１５０）に代えて、単に有効ブロック数に関する判定を行なってもよい。すなわち、過去数十フレーム分の有効ブロック数をＲＡＭに記憶する処理を省略し、直近で計算された有効ブロック数（実施例と同義）が予め設定された所定数（実施例の所定数と同様の性質であり、数値的には近いものとなることが予想される）以上となった場合に、白線等と判定する。
【００６３】
また、最大連続数に関する判定、平均有効ブロック数に関する判定、及び、上記有効ブロック数に関する判定のいずれか一つを行なって、道路区画線が白線等であるか否かを判定するものとしても構わない。この場合、実施例で述べた相互補完効果は得られないこととなるが、制御を簡易化して処理負担を軽減、及び処理時間を短縮することができる。
【００６４】
また、モルフォロジー演算を２値化画像要素に対して行なうものに限られず、モルフォロジー演算をグレイスケール画像やプログレッシブ画像に対しても行なうことができる。これらの場合、多次元の構造要素を用いると好適である。
【００６５】
また、直線状道路区画線用解析処理部３０の機能は実施例のものに限定されず、例えばＳＯＢＥＬフィルター等を用いた解析処理を行なってもよい。
【産業上の利用可能性】
【００６６】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施例に係る道路区画線認識装置１の全体構成の一例を示す図である。
【図２】直線状道路区画線用解析処理部３０が走査線を設定して特徴点を抽出する様子を模式的に示す図である。
【図３】ボッツドッツと走査線との位置関係に基づき、ボッツドッツ等と認識されたりノイズと認識されたりする様子を示す図である。
【図４】ブロック内特徴点抽出部５４が画像上に複数のブロックを設定する様子を示す図である。
【図５】切替判定部５６が実行する本発明の特徴的な処理を示すフローチャートである。
【図６】本実施例の道路区画線認識装置１が、車両の走行制御を行なう制御システムに接続された適用例を示す図である。
【符号の説明】
【００６８】
１ 道路区画線認識装置
１０ カメラ
２０ 画像解析装置
３０ 直線状道路区画線用解析処理部
４０ 点列状道路区画線用解析処理部
４２ モルフォロジー演算部
４４ ノイズ除去部
４６ 特徴点登録部
５０ 解析処理切替部
５２ 走査線上特徴点抽出部
５４ ブロック内特徴点抽出部
５６ 切替判定部
６０ 走行支援ＥＣＵ
【特許請求の範囲】
【請求項１】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、
該走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、該複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項２】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段を備え、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在する場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項３】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、
該ブロック数記憶手段に記憶されたブロック数の、過去から直近までの平均が所定数以上である場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項４】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、を備え、
前記走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が前記複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、前記ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在すること、の少なくとも一方を満たす場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項５】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、
前記走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が前記複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、前記ブロック数記憶手段に記憶されたブロック数の平均が所定数以上であること、の少なくとも一方を満たす場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項６】
請求項１、請求項４、請求項５のいずれかに記載の道路区画線種別判定装置であって、
前記走査線上特徴点抽出手段は、走査線上の画像要素に対して所定のノイズ除去処理を施した後に、該処理を施した走査線上で特徴点を抽出する手段である、
道路区画線種別判定装置。
【請求項７】
請求項２ないし６のいずれかに記載の道路区画線種別判定装置であって、
前記ブロック内特徴点抽出手段は、ブロック内の画像要素に対して所定のノイズ除去処理を施した後に、該処理を施したブロック内で特徴点を抽出する手段である、
道路区画線種別判定装置。
【請求項８】
請求項６又は７に記載の道路区画線種別判定装置であって、
前記所定のノイズ除去処理は、モルフォロジー演算に基づくノイズ除去処理である、
道路区画線種別判定装置。
【請求項９】
請求項１ないし８のいずれかに記載の道路区画線種別判定装置を有し、前記撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置であって、
前記直線状道路区画線を認識するのに適した第１の解析モードと、前記点列状道路区画線を認識するのに適した第２の解析モードと、を切替えて前記撮像手段の撮像画像を解析する画像解析手段を備え、
該画像解析手段は、前記第２の解析モードで解析を行なっている際に前記道路区画線種別判定装置により前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定された場合に、前記第１の解析モードに切替えることを特徴とする、
道路区画線認識装置。
【請求項１】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段を備え、
該走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が、該複数の走査線が並べられた方向に連続して所定本数以上存在する場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項２】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段を備え、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在する場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項３】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、
該ブロック数記憶手段に記憶されたブロック数の、過去から直近までの平均が所定数以上である場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項４】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、を備え、
前記走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が前記複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、前記ブロック内特徴点抽出手段により特徴点が抽出されたブロック数が所定個数以上存在すること、の少なくとも一方を満たす場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項５】
車両周辺を撮像する撮像手段を備え、
該撮像手段に撮像された道路区画線が、道路に直線状に描画された直線状道路区画線と、道路に点列状に敷設又は描画された点列状道路区画線と、のいずれであるかを判定する道路区画線種別判定装置であって、
前記撮像手段の撮像画像上で道路幅方向に相当する方向に延在する複数の走査線を並べて設定すると共に該複数の走査線上で特徴点を抽出する走査線上特徴点抽出手段と、
前記撮像手段の撮像画像上で複数のブロックを道路長手方向に相当する方向に並べて設定すると共に該複数のブロック内で特徴点を抽出するブロック内特徴点抽出手段と、
該ブロック内特徴点抽出手段により特徴点が抽出されたブロック数を記憶するブロック数記憶手段と、を備え、
前記走査線上特徴点抽出手段により所定点数以上の特徴点が抽出された走査線が前記複数の走査線が並べられた方向に連続して所定本数以上存在すること、及び、前記ブロック数記憶手段に記憶されたブロック数の平均が所定数以上であること、の少なくとも一方を満たす場合に、前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定することを特徴とする、
道路区画線種別判定装置。
【請求項６】
請求項１、請求項４、請求項５のいずれかに記載の道路区画線種別判定装置であって、
前記走査線上特徴点抽出手段は、走査線上の画像要素に対して所定のノイズ除去処理を施した後に、該処理を施した走査線上で特徴点を抽出する手段である、
道路区画線種別判定装置。
【請求項７】
請求項２ないし６のいずれかに記載の道路区画線種別判定装置であって、
前記ブロック内特徴点抽出手段は、ブロック内の画像要素に対して所定のノイズ除去処理を施した後に、該処理を施したブロック内で特徴点を抽出する手段である、
道路区画線種別判定装置。
【請求項８】
請求項６又は７に記載の道路区画線種別判定装置であって、
前記所定のノイズ除去処理は、モルフォロジー演算に基づくノイズ除去処理である、
道路区画線種別判定装置。
【請求項９】
請求項１ないし８のいずれかに記載の道路区画線種別判定装置を有し、前記撮像手段の撮像画像における道路区画線を認識する道路区画線認識装置であって、
前記直線状道路区画線を認識するのに適した第１の解析モードと、前記点列状道路区画線を認識するのに適した第２の解析モードと、を切替えて前記撮像手段の撮像画像を解析する画像解析手段を備え、
該画像解析手段は、前記第２の解析モードで解析を行なっている際に前記道路区画線種別判定装置により前記撮像手段の撮像画像上の道路区画線が前記直線状道路区画線であると判定された場合に、前記第１の解析モードに切替えることを特徴とする、
道路区画線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−３０６１９（Ｐ２００８−３０６１９Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０６４６７（Ｐ２００６−２０６４６７）
【出願日】平成１８年７月２８日（２００６．７．２８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２８日（２００６．７．２８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]