白線検出装置
【課題】本発明は、ノイズの影響を受けにくくして処理の高速化を可能とするとともに、白線を精度良く検出することを目的としている。
【解決手段】このため、撮像手段と、記憶手段と、エッジ抽出手段と、左右に分割した領域毎に領域内の各画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。また、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。更に、領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。
【解決手段】このため、撮像手段と、記憶手段と、エッジ抽出手段と、左右に分割した領域毎に領域内の各画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。また、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。更に、領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、カウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は白線検出装置に係り、特に白線を検出する際の処理の高速化や検出精度の向上を図る白線検出装置に関するものである。
【背景技術】
【０００２】
一般的に画像処理の際には、輝度変化の影響他、ノイズによる画質への影響、路面や対象物の面肌等の不要なテクスチャを除去するために、対象画素周辺のデータを使用し、平均化処理等を行うデジタルフィルタ処理が使用される。
また、近年のコンピュータ等の演算性能の向上により、対象物の検出に際して、同様に周辺の画素からなるデータ群の分散などを基にした技術（「ＫＬＴ法」、「ＨＡＲＲＩＳ特徴点検出法」）などを使用する機会が増してきている。
【０００３】
例として、デジタルフィルタとして最も一般的である平均値フィルタを取り上げて説明する。
入力画像の注目画素について、その位置をＵ、Ｖ、輝度値に対してＰ（Ｕ、Ｖ）、周辺画素を１群とするデータ（以下、「テンプレート」ともいう。）サイズを「ＮｘＮ」サイズ（図２０の「７ｘ７」テンプレートの構成参照。）と代数で示すと、テンプレート単位での画質補正では、次式１で計算した値で注目画素Ｐ（Ｕ、Ｖ）を置き換える操作を行う。
【数１】
【０００４】
例えば、以下の図２１のような入力画像を取り上げる。
この図２１へＳＯＢＥＬ等のエッジ検出フィルタ処理を加えた場合、路面テクスチャの影響で、図２２に示す如く、目的外の小エッジが出力されるなど芳しくない影響が生じる。
よって、事前に平均化フィルタによる画質改善等の作業を施しておくことが望まれる。
「３ｘ３」および「７ｘ７」テンプレートにて画質を事前に平均値平均化フィルタにより改善した画像を図２３及び図２４に示す。
ただし、例にあげた画像の場合、次のような課題が見受けられる。
「３ｘ３」テンプレートの場合：
・ 画質改善効果が弱い。
「７ｘ７」テンプレートの場合：
・ 画質改善効果は強くなるが、遠方に映る後続車等ではテクスチャ情報が失われるためピンボケ画像となり、必要な情報・形状特性を得られなくなる。
・ 計算量が増える。
必要でない画素部分（背景や遠方に小さく映る対象等）に対して「７ｘ７」サイズで計算を行うと、計算量の増加と共に前述のピンボケの両問題が発生するため特に課題となる。
このように通常のテンプレート単位のデジタルフィルタ処理では、画面に対して一様に２次元画像サイズで設定したテンプレートを計算単位に使用するため、屋外で広範囲を捉えたカメラ使用する場合など、監視対象とカメラの相対距離（「車間距離」とも換言できる。）が多々異なる対象を扱うため、離れた位置にある対象の必要な情報を取り逃す恐れがある。
よって、最適なテンプレートサイズの決定に関しては、３次元での相対距離や位置関係および実際の３次元スケールに対応した最適なテンプレートサイズを設定するための指標が必要であると考えられる。
しかしながら、特に後方駐車支援カメラ等で頻繁に使用される広角レンズを持つ仕様では、入力画像にはレンズ収差による画像歪などが関与する等の課題が存在するため、距離に関する基準の取得が通常困難となる。
よって、任意の画素位置において、実空間と相関のとれた最適なテンプレート選択にはさらに検討の余地があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１８２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に行われる白線検出においても、路面の凸凹あるいは照明条件により発生する外乱の影響を緩和する為に行うフィルタリング操作、あるいは、白線の輪郭（エッジ）を抽出する為の操作は、テンプレート単位の画像処理が用いられる場合が多い。但し、画像内に表示される白線についても手前の部分は広く大きく、奥の部分は狭く小さく映像化される。このように、例え白線を対象とした画像処理を行う場合であっても実空間上での撮像手段との相対距離、相対位置等の関係を考慮せずに同じサイズのテンプレート単位で処理を行えば、目的とする効果を発揮できない。あるいは、様々な弊害を伴うおそれがある。
【０００７】
この発明は、ノイズの影響を受けにくくして処理の高速化を可能とするとともに、白線を精度良く検出することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、この発明は、上述不都合を除去するために、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
また、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
更に、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
【発明の効果】
【０００９】
以上詳細に説明した如くこの発明によれば、ノイズの影響を受けにくくすることができる。この結果、エッジ抽出前に画像フィルタリングを実行する必要が無いため、処理を高速化することが可能となる。
また、白線は画像上ＦＯＥより扇状に延長しているため、ＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割した領域とすることにより、白線を精度良く検出することができる。
更に、自車両が曲率の大きいカーブをコーナリング中でも、白線を検出することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は白線検出装置の制御用フローチャートである。（実施例）
【図２】図２は白線検出装置の概略システム図である。（実施例）
【図３】図３はＳＵＺＡＮ５ｘ５ フィルタ適用例を示す図である。（実施例）
【図４】図４はＳＯＢＥＬ５ｘ５ フィルタ適用例を示す図である。（実施例）
【図５】図５は対象画像［ｕ、ｖ]を計算するための説明図である。（実施例）
【図６】図６は任意の対象画像［ｕ、ｖ]を［Ｘ、Ｚ、Ｙ＝０］へ変換するための説明図である。（実施例）
【図７】図７は［Ｘ、Ｚ、Ｙ＝０］を中心に直径１５ｃｍの仮想円盤を地面に設定するための説明図である。（実施例）
【図８】図８は三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換するための説明図である。（実施例）
【図９】図９は三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換するための説明図である。（実施例）
【図１０】図１０は輝度偏重カウント手法説明図である。（実施例）
【図１１】図１１は提案手法による白線検出結果例を示す図である。（実施例）
【図１２】図１２は入力画像を示す図である。（実施例）
【図１３】図１３はエッジ勾配方向との色分けを示す図である。（実施例）
【図１４】図１４はエッジ勾配方向との色分けの画像を示す図である。（実施例）
【図１５】図１５はエッジ勾配方向との色分け（エッジ画像のみ）を示す図である。（実施例）
【図１６】図１６は勾配方向対角化を示す図である。（実施例）
【図１７】図１７はエッジ勾配方向と色分け（エッジ画像のみ）を示す図である。（実施例）
【図１８】図１８は輝度変調確認を示す図である。（実施例）
【図１９】図１９はコーナリング中画像に対するエッジ勾配を示す図である。（実施例）
【図２０】図２０は７ｘ７テンプレートの構成を示す図である。
【図２１】図２１は入力画像を示す図である。
【図２２】図２２はＳＯＢＥＬエッジ検出画像を示す図である。
【図２３】図２３は３ｘ３ テンプレート平均化フィルタ入力画像画質補正図を示す図である。
【図２４】図２４は７ｘ７ テンプレート平均化フィルタ入力画像画質補正図を示す図である。
【発明を実施するための形態】
【００１１】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１２】
図１〜図１９はこの発明の実施例を示すものである。
図２において、１は白線検出装置である。
この白線検出装置１は、広角レンズを有する撮像手段２と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段３と、前記撮像手段２により撮像された画像からエッジを抽出するエッジ抽出手段４と、このエッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段５とを備えている。
そして、前記白線検出装置１は、ノイズの影響を受けにくくすることができる。この結果、エッジ抽出前に画像フィルタリングを実行する必要が無いため、処理を高速化することを可能としている。
【００１３】
詳述すれば、前記白線検出装置１は、図２に示す如く、制御手段（「画像処理装置」ともいう。）６を有し、この制御手段６を、前記撮像手段２と、前記記憶手段３と、前記エッジ抽出手段４と、前記判定手段５と、画像処理手段７とによって構成する。
このとき、この画像処理手段７は、入力側に位置する前記撮像手段２により撮像された画像を入力するとともに、前記判定手段５からの判定信号を入力し、出力側に位置する表示装置８に所定の画像処理信号を出力する。
【００１４】
そして、前記記憶手段３に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とする。
これにより、表示サイズを記憶するのにデータ量を小さくできるため、メモリ容量を削減することができる。また、計算効率を向上させることができる。
【００１５】
この発明の実施例における半径マップ・計測マップを利用した１次方向輝度偏重を利用した白線抽出法について説明する。
画像処理において、一般的に取得したカメラ画像にエッジ画（線画）処理を施し、対象物の判定を行う。
特に、白線検出のようなコントラストの大きな対象を扱う場合、非常に効果的な手法である。
しかしながら、車載カメラなど晴天時の屋外一般環境下でエッジ画処理を行う場合、路面からの反射光等の影響による不必要なノイズ成分による、本来対象とするエッジ成分が下図のように埋もれてしまう傾向にある。
特に、抽出したエッジ画を２値化処理する際に、これらのノイズ成分により正規の白線エッジを抽出する作業については、刻々と変化する日照条件に対し反射光ノイズの発生傾向が変動しがちであり、閾値の設定が難しく、システム負荷が高く処理のリアルタイム性を損ね易い。
この傾向は、ＳＯＢＡＬやＬＡＰＲＡＣＩＡＮ等のコンボルート処理のみならず、輝度変化に強い差分べ一スのＳＵＺＡＮフィルタリング処理等でも同様の結果を示す（図３及び図４参照。）。
このようなケースでの白線抽出について、事前に画像の補正を行った画像を使用する手法は有効であるが、事前の画像改質作業なくノイズを含んだエッジ画像から直接有効な白線のエッジ成分を抽出する高速化手法を検討する。
【００１６】
ここで、白線抽出のための判別手法を説明する。
手順１
（１）画像上の各面素について、対象画像［ｕ、ｖ]に対応した［Ｘ、Ｚ、Ｙ＝０］位置を求める。
（２）［Ｘ、Ｚ、Ｙ＝０］を中心に白線幅の半分となる直径で設定した仮想円盤を設定する。一般に道路白線幅３０ｃｍなので、その半分の１５ｃｍを仮想円盤の直径とする。
（３）仮想円盤円周をＮ点で分割する。
（４）三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換し、それぞれＮ点分の画素位置を［ｕＮ、ｖＮ]計算する。
（５）仮想円盤を仮想円盤中心［ｕ、ｖ]⇔［ｕＮ、ｖＮ]点、［ｕＮ−１、ｖＮ−１]点で構成した三角形の集合体で分割する。
（６）分割した三角形について、それぞれ画像表示上の［ｕＮ、ｖＮ]座標値＋ヘロンの公式を適用し、面積［ｐｉｘｅｌ２]を求める。
（７）各分割三角形の画像上でのピクセル面積を総和し、表示上の仮想円盤の面積を計算し、白線用半径マップに登録する。
つまり、上記の手順１においては、上記の（１）に従い、対象画像［ｕ、ｖ]を計算する（図５参照。）。同じく、任意の対象画像［ｕ、ｖ]を［Ｘ、Ｚ、Ｙ＝０］へ変換する（図６参照。）。
また、上記の（２）に従い、［Ｘ、Ｚ、Ｙ＝０］を中心に直径１５ｃｍの仮想円盤を地面に設定する（図７参照。）。
更に、上記の（３）に従い、設定した仮想円盤をＮ点に分解する。
更にまた、上記の（４）に従い、三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換する（図８及び図９参照。）。
そして、画面上に点群として再変換された仮想円盤の表示サイズを計算し、対象画素［ｕ、ｖ]での
表示サイズ＝最適テンプレートサイズ
として、マップに登録する。
なお、マップを面積値で作成してもよいが、面積はピクセル長さの２乗で増加するため、近傍の登録値が非常に大きな値となり、マップ作成に必要なメモリが大きくなりコストに影響する。
よって、登録値を面積に対応した近時半径で記録し、データサイズの増加を抑える方が好ましい。
また、地面を示す全ての対象画素［ｕ、ｖ]について一連の操作を行い、全域でのテンプレートサイズを記録した半径マップを作成する。
手順２
エッジ画像を探索し、エッジ情報を含んだ画素を探索する。
手順３
画像処理ではＲＡＭ等のメモリに蓄積されカメラからの入力画像に処理を加える。
一般的なＲＡＭでは、２次元的な配列となる画像については縦方向の処理よりも横方向の処理のほうがメモリアクセスの点で有利に働く。
探索方向を左右に限定しても自車が直進する場合の画像上の白線配置を考慮すると白線検出に関しては、及ぼされる影響は小さいと考えられる。
そこで、検出した着目画素について、同位置［Ｕ、Ｖ］に位置する元画像の画素に制御を切り替え、着目画素の左右方向で個別に輝度をカウントし、左方向の総和成分を比較する。
【００１７】
つまり、図１０に示す如く、Ａのような道路表面荒さから発生するエッジ出力画素に着目した場合、元画像の左輝度総和と右輝度総和ほぼ等価となるが、Ｂ位置（白線輪郭付近）での出力では左右方向の輝度総和のバランスが異なる。
このように着目画素を中心とした左右方向の輝度総和について偏重度を判定することで事前の画像改質作業なしに、白線輪郭に発生する線画出力情報を他のノイズ情報と区別し、直接抽出することができる。
但し、入力画像では３次元空間を扱うため、左右の輝度で総和する範囲をカメラと白線の距離の遠近に応じて柔軟に切り替えなければ、かえって誤った抽出を行うトラブルが生じる。
例えば、仮想球体が実際のスケール（道路白線線幅）と対応が取れていない場合では、Ｃの位置のように手前の位置に対し、Ａ点及びＢ点より大きな値を使用するあるいは逆のケースで問題が発生する恐れがある。
このようにスケールの対応が取れない場合、Ｃ点に設定した確認範囲でＢ点の左総和を計算すると、白線をまたぐこととなり、総和判定のバランスが崩れ誤判別が発生する。
そこで、対象となる線画出力位置の左右探索長さの設定に対して半径マップを適用することで、効果的に探索および白線抽出判定を行うことができる。
つまり、設定した白線幅の半分の直径を持つ仮想球体を、画像上の各画素［Ｕ、Ｖ］に対応した実空間上（Ｘ、Ｚ（Ｙ＝０））に定義し、作成した半径マップの登録値から左右探索長さの基準値を得ることで、白線をまたぐような誤判定に対する課題を克服できる。
また、このように左右直線方向１次元探索を半径マップ登録値基準で行うことで、以下の効果を得ることが出来る。
（１）事前のフィルタリング等の作業を省略できる（半径マップ登録値から、そのまま幅を参照可能）。
（２）画像の情報判別を１次元で行うので、実装が簡易になり、処理の高速化に効果がある。
（３）車間距離に応じて探索量を増減できるので、不要な外乱要素（背景やノイズ）を計算候補から省くことができ、精度向上と計算量の削減に効果がある（図１１参照。）。
【００１８】
また、上述した実施例においては、以下のような変形例が考えられる。
（１）変形例１
前記白線検出装置１の判定手段５が、エッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する機能を有する構成とする。
従って、白線は画像上ＦＯＥより扇状に延長しているため、ＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割した領域とすることにより、白線を精度良く検出することができるものである。
但し、撮像手段に広角レンズが使用される場合には、扇状に延長した形状に湾曲が生じる為、特許文献１のＸ方向計測マップをＹｃｏｎｓｔ＝０位置で作成し、扇状領域を定義する。
（２）変形例２
前記白線検出装置１の判定手段５が、エッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する機能を有する構成とする。
従って、自車両が曲率の大きいカーブをコーナリング中でも、白線を検出することができるものである。
【００１９】
そして、上述の変形例１及び２において、前記記憶手段３に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とする。
これにより、表示サイズを記憶するのにデータ量を小さくできるため、メモリ容量を削減することができる。また、計算効率を向上させることができる。
【００２０】
追記すれば、上述の変形例１においては、探索方向を左右方向からＦＯＥに垂直な方向へ変更する。
使用するシステムのＣＰＵに余力があれば、注目画素の水平方向以外の両サイド比較を行い、精度を向上することができる。
例えば、探索方向を実空間上で進行方向と垂直に向けた方向、すなわち画像上ではＦＯＥ方向と直角をなす向きに設定することで、より精度よく白線抽出効果を発揮できる。
【００２１】
例えば、本文の図１０に従えば、白線の輝度偏重確認作業に対して行う確認方向は、全ての位置で左右水平方向に実施する。
しかしながら、自車直進中の白線は、画像上ＦＯＥより扇状に延長した形状で表示されるので、（検出精度向上を目指す上では）好ましくは図１２のようにＦＯＥと測定点を結ぶ直線の法線方向に輝度偏重確認を行うのが推奨される。
【００２２】
また、上述の変形例２においては、探索方向を左右方向からエッジ勾配方向（垂直方向）へ変更し一般化する。
検出した画像の８近傍の出力値を確認し、エッジ成分に対し速度勾配方向に対し総和を取り判定を行う。
即ち、白線のような特定方向等以外の全方位エッジに対しても同様の判定が行える。
エッジ勾配の判定手段に関しては、ＣＡＮＮＹアルゴリズムが参考可能である。
【００２３】
例えば、Ｃａｎｎｙ法等の処理では、横方向微分値の大きさ、縦方向微分値の大きさを利用し、組合せエッジ勾配方向（エッジ垂直方向）を設定する。
角度は通常以下のｃｏｓ式で求まる。
【数２】
・ エッジ勾配方向を色分け画像化する（図１３参照。）。
今回は簡単な例を示すため、ｃｏｓθを４５°刻みで勾配を８方向に分類する。
・ Ｃａｎｎｙ法に従いエッジ画像を作成する（図１４参照。）。
・ 見やすくするため、図１４から元画像データを取り除く（図１５参照。）。
探索は（道幅を基準として）登録した半径マップを起点に±方向等価なので、さらに対角化し探索方向を３方向に分類する。
・ 先の色分けしたエッジ勾配方向を、探索方向別に対角化する（図１６参照。）。
・ 半径マップで探索距離を確認（±半径１５ｃｍ＝道幅基準）する（図１７参照。）。
・ 探索距離は、半径マップで登録した値を利用する。
図１８を例にとれば、白線上の任意の１点について輝度偏重を確認する場合は、図１３のＮｏ．４、Ｎｏ．８エッジ勾配方向に実施することで精度を向上できる。
【００２４】
次に、図１の前記白線検出装置１の制御用フローチャートに沿って作用を説明する。
【００２５】
この白線検出装置１の制御用プログラムがスタート（１０１）すると、前記エッジ抽出手段４によるエッジ抽出の処理（１０２）に移行する。
そして、このエッジ抽出の処理（１０２）の後に、全エッジに対して処理をしたか否かの判断（１０３）に移行する。
この全エッジに対して処理をしたか否かの判断（１０３）において、判断（１０３）がＹＥＳの場合には、そのまま前記白線検出装置１の制御用プログラムのエンド（１０４）に移行する。
上述の全エッジに対して処理をしたか否かの判断（１０３）において、判断（１０３）がＮＯの場合には、前記判定手段５によって、エッジに領域設定を施す処理（１０５）に移行し、このエッジに領域設定を施す処理（１０５）の後には、領域内の各画素の輝度をカウントする処理（１０６）に移行する。
このとき、エッジに領域設定を施す処理（１０５）及び領域内の各画素の輝度をカウントする処理（１０６）において、この実施例においては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントする。
また、実施例の変形例１おいては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントする。
更に、実施例の変形例２おいては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントする。
そして、領域内の各画素の輝度をカウントする処理（１０６）の後には、カウント値の差はＡ以上であるか否かの判断（１０７）に移行する。
なお、カウント値の差はＡ以上であるか否かの判断（１０７）において、カウント値は、この実施例においては、左右領域のカウント値であり、実施例の変形例１及び２おいては、二つの領域のカウント値である。また、「Ａ」は予め設定された値である。
このとき、上述したカウント値の差はＡ以上であるか否かの判断（１０７）において、判断（１０７）がＹＥＳの場合には、前記判定手段５によって、白線のエッジであると判定する処理（１０８）に移行し、その後に、上述した全エッジに対して処理をしたか否かの判断（１０３）に戻る。
また、カウント値の差はＡ以上であるか否かの判断（１０７）において、判断（１０７）がＮＯの場合には、前記判定手段５によって、白線のエッジではないと判定する処理（１０９）に移行し、その後に、上述した全エッジに対して処理をしたか否かの判断（１０３）に戻る。
【符号の説明】
【００２６】
１ 白線検出装置
２ 撮像手段
３ 記憶手段
４ エッジ抽出手段
５ 判定手段
６ 制御手段（「画像処理装置」ともいう。）
７ 画像処理手段
８ 表示装置
【技術分野】
【０００１】
この発明は白線検出装置に係り、特に白線を検出する際の処理の高速化や検出精度の向上を図る白線検出装置に関するものである。
【背景技術】
【０００２】
一般的に画像処理の際には、輝度変化の影響他、ノイズによる画質への影響、路面や対象物の面肌等の不要なテクスチャを除去するために、対象画素周辺のデータを使用し、平均化処理等を行うデジタルフィルタ処理が使用される。
また、近年のコンピュータ等の演算性能の向上により、対象物の検出に際して、同様に周辺の画素からなるデータ群の分散などを基にした技術（「ＫＬＴ法」、「ＨＡＲＲＩＳ特徴点検出法」）などを使用する機会が増してきている。
【０００３】
例として、デジタルフィルタとして最も一般的である平均値フィルタを取り上げて説明する。
入力画像の注目画素について、その位置をＵ、Ｖ、輝度値に対してＰ（Ｕ、Ｖ）、周辺画素を１群とするデータ（以下、「テンプレート」ともいう。）サイズを「ＮｘＮ」サイズ（図２０の「７ｘ７」テンプレートの構成参照。）と代数で示すと、テンプレート単位での画質補正では、次式１で計算した値で注目画素Ｐ（Ｕ、Ｖ）を置き換える操作を行う。
【数１】
【０００４】
例えば、以下の図２１のような入力画像を取り上げる。
この図２１へＳＯＢＥＬ等のエッジ検出フィルタ処理を加えた場合、路面テクスチャの影響で、図２２に示す如く、目的外の小エッジが出力されるなど芳しくない影響が生じる。
よって、事前に平均化フィルタによる画質改善等の作業を施しておくことが望まれる。
「３ｘ３」および「７ｘ７」テンプレートにて画質を事前に平均値平均化フィルタにより改善した画像を図２３及び図２４に示す。
ただし、例にあげた画像の場合、次のような課題が見受けられる。
「３ｘ３」テンプレートの場合：
・ 画質改善効果が弱い。
「７ｘ７」テンプレートの場合：
・ 画質改善効果は強くなるが、遠方に映る後続車等ではテクスチャ情報が失われるためピンボケ画像となり、必要な情報・形状特性を得られなくなる。
・ 計算量が増える。
必要でない画素部分（背景や遠方に小さく映る対象等）に対して「７ｘ７」サイズで計算を行うと、計算量の増加と共に前述のピンボケの両問題が発生するため特に課題となる。
このように通常のテンプレート単位のデジタルフィルタ処理では、画面に対して一様に２次元画像サイズで設定したテンプレートを計算単位に使用するため、屋外で広範囲を捉えたカメラ使用する場合など、監視対象とカメラの相対距離（「車間距離」とも換言できる。）が多々異なる対象を扱うため、離れた位置にある対象の必要な情報を取り逃す恐れがある。
よって、最適なテンプレートサイズの決定に関しては、３次元での相対距離や位置関係および実際の３次元スケールに対応した最適なテンプレートサイズを設定するための指標が必要であると考えられる。
しかしながら、特に後方駐車支援カメラ等で頻繁に使用される広角レンズを持つ仕様では、入力画像にはレンズ収差による画像歪などが関与する等の課題が存在するため、距離に関する基準の取得が通常困難となる。
よって、任意の画素位置において、実空間と相関のとれた最適なテンプレート選択にはさらに検討の余地があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１８２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に行われる白線検出においても、路面の凸凹あるいは照明条件により発生する外乱の影響を緩和する為に行うフィルタリング操作、あるいは、白線の輪郭（エッジ）を抽出する為の操作は、テンプレート単位の画像処理が用いられる場合が多い。但し、画像内に表示される白線についても手前の部分は広く大きく、奥の部分は狭く小さく映像化される。このように、例え白線を対象とした画像処理を行う場合であっても実空間上での撮像手段との相対距離、相対位置等の関係を考慮せずに同じサイズのテンプレート単位で処理を行えば、目的とする効果を発揮できない。あるいは、様々な弊害を伴うおそれがある。
【０００７】
この発明は、ノイズの影響を受けにくくして処理の高速化を可能とするとともに、白線を精度良く検出することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、この発明は、上述不都合を除去するために、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
また、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
更に、広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする。
【発明の効果】
【０００９】
以上詳細に説明した如くこの発明によれば、ノイズの影響を受けにくくすることができる。この結果、エッジ抽出前に画像フィルタリングを実行する必要が無いため、処理を高速化することが可能となる。
また、白線は画像上ＦＯＥより扇状に延長しているため、ＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割した領域とすることにより、白線を精度良く検出することができる。
更に、自車両が曲率の大きいカーブをコーナリング中でも、白線を検出することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は白線検出装置の制御用フローチャートである。（実施例）
【図２】図２は白線検出装置の概略システム図である。（実施例）
【図３】図３はＳＵＺＡＮ５ｘ５ フィルタ適用例を示す図である。（実施例）
【図４】図４はＳＯＢＥＬ５ｘ５ フィルタ適用例を示す図である。（実施例）
【図５】図５は対象画像［ｕ、ｖ]を計算するための説明図である。（実施例）
【図６】図６は任意の対象画像［ｕ、ｖ]を［Ｘ、Ｚ、Ｙ＝０］へ変換するための説明図である。（実施例）
【図７】図７は［Ｘ、Ｚ、Ｙ＝０］を中心に直径１５ｃｍの仮想円盤を地面に設定するための説明図である。（実施例）
【図８】図８は三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換するための説明図である。（実施例）
【図９】図９は三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換するための説明図である。（実施例）
【図１０】図１０は輝度偏重カウント手法説明図である。（実施例）
【図１１】図１１は提案手法による白線検出結果例を示す図である。（実施例）
【図１２】図１２は入力画像を示す図である。（実施例）
【図１３】図１３はエッジ勾配方向との色分けを示す図である。（実施例）
【図１４】図１４はエッジ勾配方向との色分けの画像を示す図である。（実施例）
【図１５】図１５はエッジ勾配方向との色分け（エッジ画像のみ）を示す図である。（実施例）
【図１６】図１６は勾配方向対角化を示す図である。（実施例）
【図１７】図１７はエッジ勾配方向と色分け（エッジ画像のみ）を示す図である。（実施例）
【図１８】図１８は輝度変調確認を示す図である。（実施例）
【図１９】図１９はコーナリング中画像に対するエッジ勾配を示す図である。（実施例）
【図２０】図２０は７ｘ７テンプレートの構成を示す図である。
【図２１】図２１は入力画像を示す図である。
【図２２】図２２はＳＯＢＥＬエッジ検出画像を示す図である。
【図２３】図２３は３ｘ３ テンプレート平均化フィルタ入力画像画質補正図を示す図である。
【図２４】図２４は７ｘ７ テンプレート平均化フィルタ入力画像画質補正図を示す図である。
【発明を実施するための形態】
【００１１】
以下図面に基づいてこの発明の実施例を詳細に説明する。
【実施例】
【００１２】
図１〜図１９はこの発明の実施例を示すものである。
図２において、１は白線検出装置である。
この白線検出装置１は、広角レンズを有する撮像手段２と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段３と、前記撮像手段２により撮像された画像からエッジを抽出するエッジ抽出手段４と、このエッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段５とを備えている。
そして、前記白線検出装置１は、ノイズの影響を受けにくくすることができる。この結果、エッジ抽出前に画像フィルタリングを実行する必要が無いため、処理を高速化することを可能としている。
【００１３】
詳述すれば、前記白線検出装置１は、図２に示す如く、制御手段（「画像処理装置」ともいう。）６を有し、この制御手段６を、前記撮像手段２と、前記記憶手段３と、前記エッジ抽出手段４と、前記判定手段５と、画像処理手段７とによって構成する。
このとき、この画像処理手段７は、入力側に位置する前記撮像手段２により撮像された画像を入力するとともに、前記判定手段５からの判定信号を入力し、出力側に位置する表示装置８に所定の画像処理信号を出力する。
【００１４】
そして、前記記憶手段３に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とする。
これにより、表示サイズを記憶するのにデータ量を小さくできるため、メモリ容量を削減することができる。また、計算効率を向上させることができる。
【００１５】
この発明の実施例における半径マップ・計測マップを利用した１次方向輝度偏重を利用した白線抽出法について説明する。
画像処理において、一般的に取得したカメラ画像にエッジ画（線画）処理を施し、対象物の判定を行う。
特に、白線検出のようなコントラストの大きな対象を扱う場合、非常に効果的な手法である。
しかしながら、車載カメラなど晴天時の屋外一般環境下でエッジ画処理を行う場合、路面からの反射光等の影響による不必要なノイズ成分による、本来対象とするエッジ成分が下図のように埋もれてしまう傾向にある。
特に、抽出したエッジ画を２値化処理する際に、これらのノイズ成分により正規の白線エッジを抽出する作業については、刻々と変化する日照条件に対し反射光ノイズの発生傾向が変動しがちであり、閾値の設定が難しく、システム負荷が高く処理のリアルタイム性を損ね易い。
この傾向は、ＳＯＢＡＬやＬＡＰＲＡＣＩＡＮ等のコンボルート処理のみならず、輝度変化に強い差分べ一スのＳＵＺＡＮフィルタリング処理等でも同様の結果を示す（図３及び図４参照。）。
このようなケースでの白線抽出について、事前に画像の補正を行った画像を使用する手法は有効であるが、事前の画像改質作業なくノイズを含んだエッジ画像から直接有効な白線のエッジ成分を抽出する高速化手法を検討する。
【００１６】
ここで、白線抽出のための判別手法を説明する。
手順１
（１）画像上の各面素について、対象画像［ｕ、ｖ]に対応した［Ｘ、Ｚ、Ｙ＝０］位置を求める。
（２）［Ｘ、Ｚ、Ｙ＝０］を中心に白線幅の半分となる直径で設定した仮想円盤を設定する。一般に道路白線幅３０ｃｍなので、その半分の１５ｃｍを仮想円盤の直径とする。
（３）仮想円盤円周をＮ点で分割する。
（４）三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換し、それぞれＮ点分の画素位置を［ｕＮ、ｖＮ]計算する。
（５）仮想円盤を仮想円盤中心［ｕ、ｖ]⇔［ｕＮ、ｖＮ]点、［ｕＮ−１、ｖＮ−１]点で構成した三角形の集合体で分割する。
（６）分割した三角形について、それぞれ画像表示上の［ｕＮ、ｖＮ]座標値＋ヘロンの公式を適用し、面積［ｐｉｘｅｌ２]を求める。
（７）各分割三角形の画像上でのピクセル面積を総和し、表示上の仮想円盤の面積を計算し、白線用半径マップに登録する。
つまり、上記の手順１においては、上記の（１）に従い、対象画像［ｕ、ｖ]を計算する（図５参照。）。同じく、任意の対象画像［ｕ、ｖ]を［Ｘ、Ｚ、Ｙ＝０］へ変換する（図６参照。）。
また、上記の（２）に従い、［Ｘ、Ｚ、Ｙ＝０］を中心に直径１５ｃｍの仮想円盤を地面に設定する（図７参照。）。
更に、上記の（３）に従い、設定した仮想円盤をＮ点に分解する。
更にまた、上記の（４）に従い、三角形の各頂点［ＸＮ、ＺＮ、Ｙ＝０］を画像上に再変換する（図８及び図９参照。）。
そして、画面上に点群として再変換された仮想円盤の表示サイズを計算し、対象画素［ｕ、ｖ]での
表示サイズ＝最適テンプレートサイズ
として、マップに登録する。
なお、マップを面積値で作成してもよいが、面積はピクセル長さの２乗で増加するため、近傍の登録値が非常に大きな値となり、マップ作成に必要なメモリが大きくなりコストに影響する。
よって、登録値を面積に対応した近時半径で記録し、データサイズの増加を抑える方が好ましい。
また、地面を示す全ての対象画素［ｕ、ｖ]について一連の操作を行い、全域でのテンプレートサイズを記録した半径マップを作成する。
手順２
エッジ画像を探索し、エッジ情報を含んだ画素を探索する。
手順３
画像処理ではＲＡＭ等のメモリに蓄積されカメラからの入力画像に処理を加える。
一般的なＲＡＭでは、２次元的な配列となる画像については縦方向の処理よりも横方向の処理のほうがメモリアクセスの点で有利に働く。
探索方向を左右に限定しても自車が直進する場合の画像上の白線配置を考慮すると白線検出に関しては、及ぼされる影響は小さいと考えられる。
そこで、検出した着目画素について、同位置［Ｕ、Ｖ］に位置する元画像の画素に制御を切り替え、着目画素の左右方向で個別に輝度をカウントし、左方向の総和成分を比較する。
【００１７】
つまり、図１０に示す如く、Ａのような道路表面荒さから発生するエッジ出力画素に着目した場合、元画像の左輝度総和と右輝度総和ほぼ等価となるが、Ｂ位置（白線輪郭付近）での出力では左右方向の輝度総和のバランスが異なる。
このように着目画素を中心とした左右方向の輝度総和について偏重度を判定することで事前の画像改質作業なしに、白線輪郭に発生する線画出力情報を他のノイズ情報と区別し、直接抽出することができる。
但し、入力画像では３次元空間を扱うため、左右の輝度で総和する範囲をカメラと白線の距離の遠近に応じて柔軟に切り替えなければ、かえって誤った抽出を行うトラブルが生じる。
例えば、仮想球体が実際のスケール（道路白線線幅）と対応が取れていない場合では、Ｃの位置のように手前の位置に対し、Ａ点及びＢ点より大きな値を使用するあるいは逆のケースで問題が発生する恐れがある。
このようにスケールの対応が取れない場合、Ｃ点に設定した確認範囲でＢ点の左総和を計算すると、白線をまたぐこととなり、総和判定のバランスが崩れ誤判別が発生する。
そこで、対象となる線画出力位置の左右探索長さの設定に対して半径マップを適用することで、効果的に探索および白線抽出判定を行うことができる。
つまり、設定した白線幅の半分の直径を持つ仮想球体を、画像上の各画素［Ｕ、Ｖ］に対応した実空間上（Ｘ、Ｚ（Ｙ＝０））に定義し、作成した半径マップの登録値から左右探索長さの基準値を得ることで、白線をまたぐような誤判定に対する課題を克服できる。
また、このように左右直線方向１次元探索を半径マップ登録値基準で行うことで、以下の効果を得ることが出来る。
（１）事前のフィルタリング等の作業を省略できる（半径マップ登録値から、そのまま幅を参照可能）。
（２）画像の情報判別を１次元で行うので、実装が簡易になり、処理の高速化に効果がある。
（３）車間距離に応じて探索量を増減できるので、不要な外乱要素（背景やノイズ）を計算候補から省くことができ、精度向上と計算量の削減に効果がある（図１１参照。）。
【００１８】
また、上述した実施例においては、以下のような変形例が考えられる。
（１）変形例１
前記白線検出装置１の判定手段５が、エッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する機能を有する構成とする。
従って、白線は画像上ＦＯＥより扇状に延長しているため、ＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割した領域とすることにより、白線を精度良く検出することができるものである。
但し、撮像手段に広角レンズが使用される場合には、扇状に延長した形状に湾曲が生じる為、特許文献１のＸ方向計測マップをＹｃｏｎｓｔ＝０位置で作成し、扇状領域を定義する。
（２）変形例２
前記白線検出装置１の判定手段５が、エッジ抽出手段４により抽出された各エッジに対して、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する機能を有する構成とする。
従って、自車両が曲率の大きいカーブをコーナリング中でも、白線を検出することができるものである。
【００１９】
そして、上述の変形例１及び２において、前記記憶手段３に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とする。
これにより、表示サイズを記憶するのにデータ量を小さくできるため、メモリ容量を削減することができる。また、計算効率を向上させることができる。
【００２０】
追記すれば、上述の変形例１においては、探索方向を左右方向からＦＯＥに垂直な方向へ変更する。
使用するシステムのＣＰＵに余力があれば、注目画素の水平方向以外の両サイド比較を行い、精度を向上することができる。
例えば、探索方向を実空間上で進行方向と垂直に向けた方向、すなわち画像上ではＦＯＥ方向と直角をなす向きに設定することで、より精度よく白線抽出効果を発揮できる。
【００２１】
例えば、本文の図１０に従えば、白線の輝度偏重確認作業に対して行う確認方向は、全ての位置で左右水平方向に実施する。
しかしながら、自車直進中の白線は、画像上ＦＯＥより扇状に延長した形状で表示されるので、（検出精度向上を目指す上では）好ましくは図１２のようにＦＯＥと測定点を結ぶ直線の法線方向に輝度偏重確認を行うのが推奨される。
【００２２】
また、上述の変形例２においては、探索方向を左右方向からエッジ勾配方向（垂直方向）へ変更し一般化する。
検出した画像の８近傍の出力値を確認し、エッジ成分に対し速度勾配方向に対し総和を取り判定を行う。
即ち、白線のような特定方向等以外の全方位エッジに対しても同様の判定が行える。
エッジ勾配の判定手段に関しては、ＣＡＮＮＹアルゴリズムが参考可能である。
【００２３】
例えば、Ｃａｎｎｙ法等の処理では、横方向微分値の大きさ、縦方向微分値の大きさを利用し、組合せエッジ勾配方向（エッジ垂直方向）を設定する。
角度は通常以下のｃｏｓ式で求まる。
【数２】
・ エッジ勾配方向を色分け画像化する（図１３参照。）。
今回は簡単な例を示すため、ｃｏｓθを４５°刻みで勾配を８方向に分類する。
・ Ｃａｎｎｙ法に従いエッジ画像を作成する（図１４参照。）。
・ 見やすくするため、図１４から元画像データを取り除く（図１５参照。）。
探索は（道幅を基準として）登録した半径マップを起点に±方向等価なので、さらに対角化し探索方向を３方向に分類する。
・ 先の色分けしたエッジ勾配方向を、探索方向別に対角化する（図１６参照。）。
・ 半径マップで探索距離を確認（±半径１５ｃｍ＝道幅基準）する（図１７参照。）。
・ 探索距離は、半径マップで登録した値を利用する。
図１８を例にとれば、白線上の任意の１点について輝度偏重を確認する場合は、図１３のＮｏ．４、Ｎｏ．８エッジ勾配方向に実施することで精度を向上できる。
【００２４】
次に、図１の前記白線検出装置１の制御用フローチャートに沿って作用を説明する。
【００２５】
この白線検出装置１の制御用プログラムがスタート（１０１）すると、前記エッジ抽出手段４によるエッジ抽出の処理（１０２）に移行する。
そして、このエッジ抽出の処理（１０２）の後に、全エッジに対して処理をしたか否かの判断（１０３）に移行する。
この全エッジに対して処理をしたか否かの判断（１０３）において、判断（１０３）がＹＥＳの場合には、そのまま前記白線検出装置１の制御用プログラムのエンド（１０４）に移行する。
上述の全エッジに対して処理をしたか否かの判断（１０３）において、判断（１０３）がＮＯの場合には、前記判定手段５によって、エッジに領域設定を施す処理（１０５）に移行し、このエッジに領域設定を施す処理（１０５）の後には、領域内の各画素の輝度をカウントする処理（１０６）に移行する。
このとき、エッジに領域設定を施す処理（１０５）及び領域内の各画素の輝度をカウントする処理（１０６）において、この実施例においては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントする。
また、実施例の変形例１おいては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントする。
更に、実施例の変形例２おいては、前記記憶手段３により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントする。
そして、領域内の各画素の輝度をカウントする処理（１０６）の後には、カウント値の差はＡ以上であるか否かの判断（１０７）に移行する。
なお、カウント値の差はＡ以上であるか否かの判断（１０７）において、カウント値は、この実施例においては、左右領域のカウント値であり、実施例の変形例１及び２おいては、二つの領域のカウント値である。また、「Ａ」は予め設定された値である。
このとき、上述したカウント値の差はＡ以上であるか否かの判断（１０７）において、判断（１０７）がＹＥＳの場合には、前記判定手段５によって、白線のエッジであると判定する処理（１０８）に移行し、その後に、上述した全エッジに対して処理をしたか否かの判断（１０３）に戻る。
また、カウント値の差はＡ以上であるか否かの判断（１０７）において、判断（１０７）がＮＯの場合には、前記判定手段５によって、白線のエッジではないと判定する処理（１０９）に移行し、その後に、上述した全エッジに対して処理をしたか否かの判断（１０３）に戻る。
【符号の説明】
【００２６】
１ 白線検出装置
２ 撮像手段
３ 記憶手段
４ エッジ抽出手段
５ 判定手段
６ 制御手段（「画像処理装置」ともいう。）
７ 画像処理手段
８ 表示装置
【特許請求の範囲】
【請求項１】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項２】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項３】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項４】
前記記憶手段に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とすることを特徴とする請求項１〜３に記載の白線検出装置。
【請求項１】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域を左右等分に分割し、左右に分割した領域毎に領域内の各画素の輝度をカウントし、左右領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項２】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をＦＯＥ（無限遠点）とエッジとを結ぶ直線により分割し、分割した領域毎にＦＯＥ（無限遠点）とエッジとを結ぶ直線に対して法線方向に位置する画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項３】
広角レンズを有する撮像手段と、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、前記撮像手段により撮像された画像からエッジを抽出するエッジ抽出手段と、このエッジ抽出手段により抽出された各エッジに対して、前記記憶手段により記憶された表示サイズに相当する領域を設定し、この領域をエッジ勾配方向により少なくとも二つに分割し、対角に位置する二つの領域内の画素の輝度をカウントし、二つの領域のカウント値の差が予め設定された値以上である時には白線のエッジであると判定する判定手段とを備えることを特徴とする白線検出装置。
【請求項４】
前記記憶手段に記憶される表示サイズは、仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とすることを特徴とする請求項１〜３に記載の白線検出装置。
【図１】
【図２】
【図６】
【図７】
【図８】
【図３】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図６】
【図７】
【図８】
【図３】
【図４】
【図５】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−２３８２４９（Ｐ２０１２−２３８２４９Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０７８３３（Ｐ２０１１−１０７８３３）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]