白線検出装置
【課題】本発明は、白線のエッジ抽出の際の閾値の決定手段を不要とし、処理を簡素化して、白線両端に生じるエッジを路面の模様、影、照明などの影響を極力排除し、信頼性高く抽出することができる白線検出装置を提供することを目的としている。
【解決手段】この発明は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする。
【解決手段】この発明は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は白線検出装置に係り、特に、車両に搭載したバックカメラの映像より駐車枠の白線を抽出する白線検出装置に関するものである。
【背景技術】
【０００２】
画像中の白線を検出するために、画像中のエッジを検出する際、通常は、Ｓｏｂｅｌ、ラプラシアンなどの二次元オペレータを用いた後、閾値を用いた２値化を行う。しかし、一意に閾値を決定することは困難である場合が多い。
駐車枠に自車を止めるために、駐車枠の白線を検出する場合は、画像中の縦方向に現れるエッジを検出する必要がある。エッジ検出に当たっては、路面の模様、影、照明などの影響を極力排除する必要がある。
【０００３】
従来の白線検出装置においては、微分を用いてエッジを検出した後、パーセンタイル法を用いて、２値化後に１となっている画素数が、全画素数のｎ％となるように閾値を決定し、２値化しているものがある。（特許文献１）
また、従来の白線検出装置においては、微分結果より空間的な稜線を求めることにより、エッジの検出を行っているものがある。（特許文献２）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６４−１５６０５号公報
【特許文献２】特開昭６４−６１６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前記特許文献１に開示されるものは、微分を用いてエッジを検出した後、パーセンタイル法を用いて、２値化後に１となっている画素数が、全画素数のｎ％となるように閾値を決定し、２値化している。
このため、特許文献１は、閾値を変更しながら、所望の閾値を決定する必要があること、環境によって、石畳などテクスチャが複雑な背景となった場合、２値化により１となる画素が想定以上に生じると、正しく閾値が求まらない可能性がある。
また、特許文献１は、エッジの検出方法も、カメラが４５度、１３５度固定であり、カメラの取付角度によっては、必ずしも当てはまらない場合がある。
【０００６】
前記特許文献２に開示されるものは、微分結果より空間的な稜線を求めることにより、エッジの検出を行っているが、微分データの増減を探索する必要があり、また微小な増減に対応するためには、複数の稜線候補点からさらに絞り込む必要があるなど、処理が煩雑である。
また、特許文献２は、白線両端のエッジについては、「黒」→「白」方向のもののみを検出対象としているため、白線の汚れなどにより複数のエッジが検出されてしまう可能性がある。そして、複数のエッジが検出されると、特許文献２は、後段にて白線検出を行う際（例えば、Ｈｏｕｇｈ変換）、候補点が増加するため、より多くのメモリを必要とするなどの問題がある。
【０００７】
本発明は、白線のエッジ抽出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、白線両端に生じるエッジを路面の模様、影、照明などの影響を極力排除し信頼性高く抽出することができる白線検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする。
【発明の効果】
【０００９】
従来技術では、白線両端微分値強調フィルタを用いるので、画像をメモリに一度記憶する必要がある。したがって、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、閾値が変動するので、画像の各位置に応じて閾値を適応制御する必要がある。そのためには判別分析法等の処理をする必要があるが、これらの処理は非常に重く、また並列処理をする場合でも膨大なリソースが必要になる。
この発明の白線検出装置では、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。
また、この発明の白線検出装置では、白線が影に入っている場合でも、白線のエッジを検出することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は白線検出装置によるエッジ検出の制御用フローチャートである。（実施例１）
【図２】図２は白線検出装置のシステム構成図である。（実施例１）
【図３】図３はオペレータを示し、（ａ）は差分オペレータを示す概略説明図、（ｂ）は白線両端微分値強調フィルタのオペレータを示す概略説明図である。（実施例１）
【図４】図４は微分と道路の白線と白線両端微分値強調フィルタ演算値とを示す図である。（実施例１）
【図５】図５は画像を示し、（ａ）は処理前の画像を示す図、（ｂ）は閾値を「１」としたときのエッジ検出結果の画像を示す図、（ｃ）は閾値を「１０」としたときのエッジ検出結果の画像を示す図、（ｄ）は閾値を「２０」としたときのエッジ検出結果の画像を示す図である。（実施例１）
【図６】図６は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「１８０」の設定１における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図７】図７は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「６２」の設定２における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図８】図８は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「３２」の設定３における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図９】図９は 図８の設定３において閾値を「５」に設定した際の、エッジ検出結果の画像を示す図である。（実施例１）
【図１０】図１０は実際の駐車枠の画像処理であって、（ａ）は影がある入力画像を示す図、（ｂ）は差分によるエッジ検出結果の画像を示す図である。（実施例１）
【図１１】図１１は影がある入力画像に測定ラインを設定した画像を示す図である。（実施例１）
【図１２】図１２は図１１の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例１）
【図１３】図１３は輝度変化を示す画素に対する閾値による差分処理を示す図である。（実施例１）
【図１４】図１４は図１０（ａ）の影がある入力画像の第１の条件［１］によるエッジ検出結果の画像を示す図である。（実施例１）
【図１５】図１５は図１１の測定ラインによる横方向の輝度変化（ラインプロファイル）を示し、輝度変化後の輝度値の維持状態を説明する図である。（実施例１）
【図１６】図１６は輝度変化を示す画素に対する閾値による差分処理を示し、（ａ）は閾値を超えている輝度の幅が広い場合の差分処理を示す図、（ｂ）は閾値を超えている輝度の幅が狭い場合の差分処理を示す図である。（実施例１）
【図１７】図１７は図１０（ａ）の影がある入力画像の第２の条件［２］によるエッジ検出結果を示す画像を示す図である。（実施例１）
【図１８】図１８は夜間の実際の駐車枠の画像処理であって、（ａ）はブレーキランプが点灯した際の入力画像を示す図、（ｂ）は差分によるエッジ検出結果の画像を示す図、（ｃ）影がある入力画像の第１の条件［１］によるエッジ検出結果の画像を示す図、（ｄ）は影がある入力画像の第２の条件［２］によるエッジ検出結果を示す画像を示す図である。（実施例１）
【図１９】図１９は白線検出装置による輝度変換の制御用フローチャートである。（実施例２）
【図２０】図２０は白線検出装置のシステム構成図である。（実施例２）
【図２１】図２１は駐車枠が黄線の画像処理であって、（ａ）は影がある入力画像を示す図、（ｂ）は実施例１の処理によるエッジ検出結果（閾値１０）の画像を示す図、（ｃ）は実施例１の処理による閾値５の場合のエッジ検出結果の画像を示す図である。（実施例２）
【図２２】図２２は駐車枠が黄線の画像処理であって、（ａ）は図１８（ａ）の入力画像に適用した実施例１の処理によるエッジ検出結果（閾値５）の画像を示す図、（ｂ）は図１８（ａ）の入力画像に適用した実施例１の処理によるエッジ検出結果（閾値１０）の画像を示す図である。（実施例２）
【図２３】図２３は駐車枠が黄線の影がある入力画像に測定ラインを設定した画像を示す図である。（実施例２）
【図２４】図２４は図２３の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例２）
【図２５】図２５は夜間の駐車枠が黄線の入力画像に測定ラインを設定した画像を示す図である。（実施例２）
【図２６】図２６は図２５の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例２）
【図２７】図２７は輝度変換曲線を示す図である。（実施例２）
【図２８】図２８は駐車枠が黄線の画像処理であって、（ａ）は図２１（ａ）の入力画像に適用したこの発明の処理によるエッジ検出結果の画像を示す図、（ｂ）は図２５の入力画像に適用したこの発明の処理によるエッジ検出結果の画像を示す図である。（実施例２）
【図２９】図２９は駐車枠が黄線の画像処理であって、（ａ）は図２１（ａ）の入力画像に適用したＳｏｂｅｌ処理によるエッジ検出結果の画像を示す図、（ｂ）は図１８（ａ）の入力画像にこの発明による処理適用後にＳｏｂｅｌ処理を適用したエッジ検出結果の画像を示す図である。（変形例）
【発明を実施するための形態】
【００１１】
以下図面に基づいて、この発明の実施例を説明する。
【実施例１】
【００１２】
図１〜図１８は、この発明の実施例１を示すものである。
図２において、１は白線検出装置である。白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素（この実施例１では１〜３画素）隣の画素との輝度の差分を算出する第１〜第３の差分算出手段２−１〜２−３と、この第１〜第３の差分算出手段２−１〜２−３により算出された差分が予め設定された閾値以上か否かを判定する第１〜第３の閾値判定手段３−１〜３−３とを備え、この第１〜第３の閾値判定手段３−１〜３−３の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件［１］とし、この第１の条件［１］が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ候補検出手段４を備えている。
また、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出する第４〜第６の差分算出手段２−４〜２−６と、この第４〜第６の差分算出手段２−４〜２−６により算出された差分が予め設定された閾値以上か否かを判定する第４〜第６の閾値判定手段３−４〜３−６とを備え、この第４〜第６の閾値判定手段３−４〜３−６の全てにより差分が閾値以上と判定されることを第２の条件［２］とし、前記第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ判定手段５を備えている。
【００１３】
白線検出装置１は、入力側にビデオ入力部（「デコーダ」ともいう。）６によりカメラ７が接続されるとともに、出力側にビデオ出力部（「エンコーダ」ともいう。）８が接続されている。
白線検出装置１は、ビデオ入力部６からの入力画像をそのまま入力するようにビデオ入力部６を第１〜第３の差分算出手段２−１〜２−３に接続するとともに、ビデオ入力部６からの入力画像に対して１画素遅延〜３画素遅延を行った後に第１〜第３の差分算出手段２−１〜２−３に入力させる第１〜第３の画素遅延手段９−１〜９−３を備えている。第１〜第３の差分算出手段２−１〜２−３は、第１〜第３の閾値判定手段３−１〜３−３を介して白線エッジ候補検出手段４に接続されている。
また、白線検出装置１は、ビデオ入力部６からの入力画像をそのまま入力するようにビデオ入力部６を第４〜第６の差分算出手段２−４〜２−６に接続するとともに、ビデオ入力部６からの入力画像に対して４画素遅延〜６画素遅延を行った後に第４〜第６の差分算出手段２−４〜２−６に入力させる第４〜第６の画素遅延手段９−４〜９−６を備えている。第４〜第６の差分算出手段２−４〜２−６は、第４〜第６の閾値判定手段３−４〜３−６を介して白線エッジ判定手段５に接続されている。白線エッジ判定手段５には、前記白線エッジ候補検出手段４が接続されている。
さらに、白線検出装置１は、白線エッジ判定手段５に接続されるとともに、ビデオ出力部８に接続されるエッジ画像生成手段１０を備えている。
【００１４】
白線検出装置１は、カメラ７からビデオ入力部６を介して入力される入力画像を以下の手順で処理して出力する。
（１）、入力画像は、ラスタスキャンにより「上から下」、「左から右」の順に各画素のデータ（輝度、色）が入力される。白線検出装置１は、入力画像の輝度の情報を用いる。
（２）、入力された画素の輝度情報は、第１〜第６の差分算出手段２−１〜２−６により１画素前（左）〜６画素前（左）までの差分の算出を行う。
（３）、白線検出装置１は、差分結果（絶対値）を第１〜第３の閾値判定手段３−１〜３−３で閾値処理し、エッジ位置候補点を抽出する。３画素前までの抽出結果は、白線エッジ候補検出手段４の第１の条件［１］によるＯＲ処理にて白線のエッジ候補を検出する。
（４）、エッジ位置候補が検出された場合、さらに６画素前までの結果を白線エッジ判定手段５の第２の条件［２］によるＡＮＤ処理により白線によるエッジ位置を判定する。
（５）、以上より、白線のエッジとして抽出された画素を用いて、エッジ画像生成手段１０によりエッジ画像を生成する。
（６）、生成されたエッジ画像は、ビデオ出力部８により出力され、Ｈｏｕｇｈ変換など白線検出などに利用できる。
【００１５】
これに対して、白線検出装置の従来技術では、白線両端微分値強調フィルタを用いるので、画像をメモリに一度記憶する必要がある。したがって、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、閾値が変動するので、画像の各位置に応じて閾値を適応制御する必要がある。そのためには判別分析法等の処理をする必要があるが、これらの処理は非常に重く、また並列処理をする場合でも膨大なリソースが必要になる。
【００１６】
この白線検出装置１では、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。また、この白線検出装置１では、白線が影に入っている場合でも、白線のエッジを検出することができ、さらに、ノイズを増やすことなく、白線のエッジを検出することができる。
【００１７】
ここで、この発明の白線検出装置１に対して、従来の処理例としての白線両端微分値強調フィルタを用いた方法を説明する。
従来の手法においては、画像の微分を求め、白線両端微分値強調フィルタを用いて道路の白線幅と同じ幅を持つ白線の抽出を行っている。ここで、微分は差分で置き換え可能であるので、差分オペレータ（図３（ａ））を用いて差分画像を得る。白線両端微分値強調フィルタは、道路白線幅（画素数）と同じ幅を持つオペレータで、図３（ｂ）に示すように、オペレータの中央で符号が「＋（プラス）」から「−（マイナス）」へ反転する。
以上の処理により、図４に示すような結果が得られ、適切な閾値を選択することにより、道路上の白線と同じ幅を持つ特徴のみを抽出することができる。なお、閾値の選択には、判別分析法などを用いる。
【００１８】
従来技術で用いられている微分（差分）処理については、同様に走査線方向（画面横方向）での差分処理とする。しかし、白線両端微分値強調フィルタを用いるためには、画像（走査線）を一度メモリに記録する必要があるため、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、図４に示すように、閾値レベルが変動するため、画像の各位置に応じて閾値を適応制御する必要がある。
そのためには、判別分析法などの処理が必要となるが、これらの処理は非常に重く、また並列処理する場合も膨大なリソースが必要となる。
そこで、「差分画像は、すぐ隣の画素との差分であり、隣接画素と当該画素の明るさ（照明条件）が大きく異なることは稀である」（例外：影によるエッジ）こと、また一般に駐車枠に引かれた白線などは、運転者が識別し易いように、路面とコントラストがはっきりしていると考えられるため、閾値は一定値とすることとした。
【００１９】
図５において、（ａ）は処理前の画像を示し、（ｂ）は閾値を「１」としたときのエッジ検出結果の画像を示し、（ｃ）は閾値を「１０」としたときのエッジ検出結果の画像を示し、（ｄ）は閾値を「２０」としたときのエッジ検出結果の画像を示す。なお、図５においては、エッジの極性による区別なく、「白→黒」や「黒→白」の全てを表示している。
図５（ｂ）に示すように、閾値「１」では、細かなテクスチャによるエッジによる影響が見られる。しかし、図５（ｃ）及び（ｄ）に示すように、閾値「１０」及び閾値「２０」では、良好な結果が得られている。ここで、輝度変化による影響を確認するために、閾値「１０」にてレンズの絞りを変化させたときの結果を、図６〜図８に示す。
図６は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「１８０」の設定１における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
また、図７は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「６２」の設定２における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
更に、図８は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「３２」の設定３における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
この図６〜図８から、ダイナミックレンジの１／４程度の暗さまでは対応可能であることがわかる。
なお、上述の図８に開示される設定３の場合、画像奥の壁に近づくに連れて、エッジの検出ができなくなっている。仮に閾値を「５」まで下げた場合は、図９に示すように、エッジの検出は可能であるが、ノイズによる影響が大きくなってしまう。このことより、この従来手法の閾値決定に判別分析法を用いても、効果が少ないことが確認できる。
【００２０】
上記従来手法による差分および閾値処理を実際の路面に適用した場合、下記のような問題が生じる。図１０（ａ）のように影がある画像の場合、白線と路面との輝度差が少なく境界（隣接画素間）に明確な輝度差が生じないため、図１０（ｂ）のように白線のエッジが検出できていない。
そこで、図１０（ａ）に示す入力画像について、図１１に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図１２に示すように、明るい場所に比べて影のある場所では、白線と路面間の輝度変化に違いがあることがわかる。明るい場所では輝度変化が急峻である一方、影のある場所では輝度変化がなだらかになっている。なだらかな輝度変化に対応するためには、閾値を低くする必要があるが、閾値を低くすることにより不要なノイズが増加する欠点がある。
【００２１】
この欠点に対して、この発明の白線検出装置１においては、なだらかな輝度変化に対応するため、差分処理の拡張をおこない、注目画素の一つ左隣（１画素前）の画素だけでなく二つ隣（２画素前）や三つ隣（３画素前）の画素とも差分を取り、いずれかが、閾値を超えた場合に白線によるエッジとして検出することとする。
図１３において、□０（四角の中に０）は、現在の注目画素を表し、□１、□２、□３（四角の中に１、２、３）はそれぞれ、一つ左隣、二つ左隣、三つ左隣の各画素位置を表している。グラフの値がそれぞれの画素の輝度を表している。
図１０の従来手法における差分処理では、｜□０−□１｜≧閾値であればエッジとしていたため、図１３に示すようななだらかなエッジには対応できていなかった。
そこで、この発明の白線検出装置１では、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
とすることで、なだらかなエッジにも対応可能とした。
図１４は、実際の路面の画像を上記第１の条件［１］にて判定した場合の、エッジの検出結果である。図１４の検出結果は、図１０（ｂ）の検出結果に比べると、影の部分の白線のエッジを検出できていることがわかる。
【００２２】
このように、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜３画素隣の画素との輝度の差分を算出し、算出された差分が予め設定された閾値以上か否かを判定し、少なくともいずれか１つの差分が閾値以上と判定されることを第１の条件［１］とし、この第１の条件［１］が満たされた場合に、判定対象である画素を白線のエッジとしている。
これにより、白線検出装置１は、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。また、この白線検出装置１では、白線が影に入っている場合でも、白線のエッジを検出することができる。
【００２３】
また、図１４では、図１０（ｂ）の検出結果に比べ、路面のテクスチャによる誤検出が増えていることがわかる。Ｈｏｕｇｈ変換などで白線を検出する場合、信頼性向上のためには、白線以外によるノイズは極力少ないことが望ましい。
そこで、再度ラインプロファイル（図１２）を検討してみると、図１５に示すように、白線部では白線が幅を持つため、輝度が変化し差分値が閾値を越えた後も高い輝度値（大きい差分値）を維持するのに対し、路面部分では高い輝度値を維持していないことがわかる。
そこで、この発明の白線検出装置１は、前記第１の条件［１］を拡張し、輝度変化により、注目画素と１〜３個隣の画素との差分値が同値を越えた後、図１６に示すように、さらに３画素（４〜６画素）隣の画素との差分値が同値を超えることを第２の条件［２］として加えている。
図１６（ａ）は、閾値を超えている輝度の幅が広い場合の差分処理を示している。図１６（ｂ）は、閾値を超えている輝度の幅が狭い場合の差分処理を示している。
つまり、この発明の白線検出装置１は、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
を拡張し、
（第１の条件［１］）ａｎｄ（｜□０−□４｜≧閾値）ａｎｄ（｜□０−□５｜≧閾値）ａｎｄ（｜□０−□６｜≧閾値）…第２の条件［２］、
とする。
第２の条件［２］による処理を追加した結果を、図１７に示す。図１７によれば、白線部はそのままに、図１４の検出結果と比較して、路面のノイズが減っていることがわかる。
【００２４】
このように、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出し、算出された差分が予め設定された閾値以上か否かを判定し、全ての差分が閾値以上と判定されることを第２の条件［２］とし、前記第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとしている。
これにより、白線検出装置１は、白線が影に入っている場合でも、ノイズを増やすことなく、白線のエッジを検出することができる。
【００２５】
白線検出装置１のノイズ削減効果について参考のため、他の実験データも示す。
図１８（ａ）は、夜間にブレーキランプが点灯した際の入力画像であり、図１８（ｂ）、１８（ｃ）、１８（ｄ）はそれぞれ、隣の画素との差分処理の画像、第１の条件［１］による処理に閾値処理を組み合わせた結果の画像、第２の条件［２］による処理に閾値処理を組み合わせた結果の画像である。
図１８（ｄ）に示す結果の画像は、図１８（ｂ）の画像より白線部が鮮明であり、図１８（ｃ）の画像よりノイズが少ないことが確認できる。
なお、上記閾値、第１の条件［１］、第２の条件［２］で用いる画素数や閾値は、一例であり、使用するカメラ７によりレンズの画角や地面からの距離によりカメラ７に映る白線の幅が変わるためにより変化する。
【００２６】
次に、図１のエッジ検出の制御用フローチャートに沿って作用を説明する。この制御用フローチャートにおいては、エッジ判定を３画素とする第１の条件［１］と、白線判定（閾値を越えている幅）を３画素とする第２の条件［２］により白線のエッジを検出する。
白線検出装置１は、プログラムがスタート（１０１）すると、ビデオ入力部６を介して、カメラ７からの入力画像の画素データを入力し（１０２）、第１〜第３の画素遅延手段９−１〜９−３により１画素遅延〜３画素遅延の画素遅延処理（１０３）を行った画素データと入力したそのままの画素データとを第１〜第３の差分算出手段２−１〜２−３によって差分処理を行い（１０４）、第１〜第３の閾値判定手段３−１〜３−３によって第１〜第３の差分のいずれかの差分（絶対値）が閾値以上であるか（第１の条件［１］）を判断する（１０５）。
この判断（１０５）がＹＥＳの場合は、第４〜第６の画素遅延手段９−４〜９−６により４画素遅延〜６画素遅延の画素遅延処理（１０３）を行った画素データと入力したそのままの画素データとを第４〜第６の差分算出手段２−４〜２−６によってそれぞれ差分処理を行い（１０６）、第４〜第６の閾値判定手段３−４〜３−６によって第４〜第６の差分の全ての差分（絶対値）が閾値以上であるか（第２の条件［２］）を判断する（１０７）。
この判断（１０７）がＹＥＳの場合は、輝度値をＭａｘ（白）とし（１０８）、エッジ画像生成手段１０によりエッジ画像を生成し（１０９）、ビデオ出力部８に出力してプログラムをエンドにする（１１０）。
一方、前記判断（１０５）がＮＯの場合、また、前記判断（１０７）がＮＯの場合は、輝度値をＭｉｎ（黒）とし（１１１）、エッジ画像生成手段１０によりエッジ画像を生成し（１０９）、ビデオ出力部８に出力してプログラムをエンドにする（１１０）。
【００２７】
これにより、白線検出装置１は、第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとしているので、白線が影に入っている場合でも、ノイズを増やすことなく、白線のエッジを検出することができる。
なお、第１の条件［１］と第２の条件［２］の処理は、
１．全ての画素に対しおこない、第１の条件［１］の結果と第２の条件［２］の処理のＡＮＤとする。
２．第１の条件［１］が成り立った場合にのみ、第２の条件［２］の処理をおこなう。
のいずれの方法でも良い。
【００２８】
上述実施例１では、第１の条件［１］、第２の条件［２］は、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
（第１の条件［１］）ａｎｄ（｜□０−□４｜≧閾値）ａｎｄ（｜□０−□５｜≧閾値）ａｎｄ（｜□０−□６｜≧閾値）…第２の条件［２］、
としているが、これに限定されるものではなく、第１の条件［１］が成立する画素位置（例えば２画素前）から、第２の条件［２］を適用してもよい。
例えば、２画素前で第１の条件［１］が成立する場合は、
（第１の条件［１］）ａｎｄ（｜□０−□３｜≧閾値）ａｎｄ（｜□０−□４｜≧同値）ａｎｄ（｜□０−□５｜≧同値）…第２の条件［１］、
とすることができる。
また、１画素前で第１の条件［１］が成立する場合は、
（第１の条件［１］）ａｎｄ（｜□０−□２｜≧閾値）ａｎｄ（｜□０−□３｜≧閾値）ａｎｄ（｜□０−□４｜≧閾値）…第２の条件［１］、
とするこができる。
また、検出するエッジは、画像メモリを使用しない場合には、横方向の探索のみとなるが、画像メモリが使用できる場合には、縦方向や縦横複合での検出が可能である。使用する画像メモリは、フレーム処理では、１フィールド分必要となるが、フィールド処理もしくはプログレッシブスキャンの場合は、実施例では６ライン分の記憶領域があればよい。
【実施例２】
【００２９】
図１９〜図２８は、この発明の実施例２を示すものである。
上述実施例１の白線検出装置１においては、隣接画素との差分処理により固定閾値で白線の検出をおこなう場合も、他の車などの陰になっている領域などでは、輝度変化が少ないため、検出できない場合がある。特に、駐車枠が黄色の線などの場合、黄線は白線よりも輝度が低いため、検出できない状況が高まる場合がある。この問題に対応するために、閾値を低く設定すると、路面のテクステャなどの誤検出によるノイズの発生が顕著となり、Ｈｏｕｇｈ変換などでの線分検出が困難となる。
図２１（ａ）に示すように、影中の駐車枠が黄線の場合、図２１（ｂ）に示すように、実施例１の白線検出装置１による処理（閾値１０）では黄線の駐車枠の抽出が困難である。図２１（ｃ）に示すように、単純に閾値を１／２（閾値５）にした場合、黄線のエッジは抽出できているが、路面のノイズが増加していることがわかる。
図２１に示す駐車枠の黄線の抽出は、閾値を下げる（閾値５）ことにより、エッジの抽出は可能となるが、路面のテクスチャにより生じるノイズが増加している。また同じように実施例１の白線検出装置１による処理を、前述図１８（ａ）の夜間の駐車枠の画像に適用すると、閾値５による適用例の図２２（ａ）、閾値１０による適用例の図２２（ｂ）に示すように、やはりノイズが増加していることがわかる。
これは、映像信号はその性質上（ＡＭ信号）、レベルが低い（暗い）領域ではＳＮ比が悪化する。閾値を下げることは、暗い領域のノイズの影響を受けやすくなるためノイズが増加し、効果は少ないことと、閾値を下げたことにより、路面のテクスチャ（凹凸にライトが反射）の影響が増えたためである。
【００３０】
そこで、図２１（ａ）に示す入力画像について、図２３に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図２４に示す結果が得られた。
図２４のラインプロファイルを見ると、影の中の路面の輝度値は、５０以下、影以外の路面の輝度値は１００前後、影中の黄色線の輝度は６０前後、影以外の白線の輝度は、１８０〜２００程度となっていることが分かる。また、影以外の路面領域では、５から１０程度のばらつきが生じていることが分かる。
この結果より、閾値１０では、影中の黄色線を検出するにはぎりぎりの閾値であり、また閾値を５（１／２）に下げると、影以外の路面領域で、ノイズを生じる原因となることが分かる。
また、前述図１８（ａ）のように夜間では、図２５に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図２６に示すように、路面の輝度値が、１００〜１８０程度で大きくばらつき、白線は、ほぼ２５０前後となっていることがわかる。
【００３１】
上記２例（図２３・図２４及び図２５・図２６）より、輝度が低い領域では、路面と黄線の差が少なく（白線でも同様［図１２参照］）、影となっていない領域では差が大きくなることが分かる。また、夜間などでも、路面の輝度は１２０前後あり、白線の輝度は２５０を越えることが分かる。よって、５０前後での閾値を、現状よりも少し下げ（１０以下）、それ以上の領域の閾値は、現状よりも上げて（１０以上）よいことがわかる。
これは、カメラのオートゲインコントロールにより、簡単には画像の平均輝度が輝度分解能の半分（例では８ｂｉｔなので１２８）になるように調節しているからである。
よって、中間輝度の領域のコントラストをさげ、日中の影の輝度領域（５０以下）のコントラストを向上させ、夜間の路面領域（２００以下）のコントラストを下げるように、予め設定された輝度変換曲線に基づいて入力画像の画素の輝度を変換することにより、駐車枠を示す白線（黄線）の検出性能の向上と路面のテクスチャによるノイズ除去の双方に効果のあることがわかった。
図２７は、提案する輝度変換曲線を示す。図２７の輝度変換曲線によると、入力輝度が０〜１２８までは、出力を増加させ、１２８以上は出力が入力よりも低くなっている。また、６４から１９２までは、入力輝度変化に対し出力輝度の変化の傾きは１／２になっている。これにより、路面のデータが多く存在する１００前後から１８０前後にかけての路面のテクスチャによるノイズに対しては、閾値２０を適用したのとほぼ等価となり、ノイズの発生を抑えることが出来る。また、影の中の路面のデータが多く存在する５０以下については、６４以下の入力に対する出力の傾きを１．５倍とすることで、閾値を７程度まで下げた効果を得ることができる。
【００３２】
また、図２７の輝度変換曲線は、その屈曲点を６４、１９２とすることにより、足し算、引き算、ビットシフトによる割り算で演算可能なため、計算に必要なリソースが少なくてすむ。このため、低価格帯のＦＰＧＡにも十分に実装可能である。
輝度変換曲線の変換式は、
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋（（１２７−入力）／２）
（３）．１２８〜１９１ ： 出力＝入力−（（入力−１２７）／２）
（４）．１９２〜２５５ ： 出力＝入力−（（２５５−入力）／２）
である。
図２７の変換テーブルを、図２１（ａ）の画像と図１８（ａ）の画像に適用した結果を、図２８（ａ）と図２８（ｂ）にそれぞれ示す。輝度変換曲線に基づいて入力画像の画素の輝度を変換することによって、問題となっていた駐車枠の黄線の検出を可能とし、増加した路面のテクスチャによるノイズを大幅に削減することが出来ていることがわかる。
【００３３】
実施例２の白線検出装置１は、駐車枠の黄線の検出を可能とし、増加した路面のテクスチャによるノイズを削減するために、図２０に示すように、実施例１の構成に加えて、輝度変換手段１１を備えている。輝度変換手段１１は、ビデオ入力部６からの入力画像を入力し、予め設定された輝度変換曲線に基づいて入力画像の画素の輝度を変換する。白線検出装置１は、この輝度変換手段１１により輝度を変換された画素に基づいて白線のエッジを検出する。
実施例２の白線検出装置１は、実施例１と同様に、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素（この実施例１では１〜３画素）隣の画素との輝度の差分を算出する第１〜第３の差分算出手段２−１〜２−３と、この第１〜第３の差分算出手段２−１〜２−３により算出された差分が予め設定された閾値以上か否かを判定する第１〜第３の閾値判定手段３−１〜３−３とを備え、この第１〜第３の閾値判定手段３−１〜３−３の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件（１）とし、この第１の条件（１）が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ候補検出手段４を備えている。
また、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出する第４〜第６の差分算出手段２−４〜２−６と、この第４〜第６の差分算出手段２−４〜２−６により算出された差分が予め設定された閾値以上か否かを判定する第４〜第６の閾値判定手段３−４〜３−６とを備え、この第４〜第６の閾値判定手段３−４〜３−６の全てにより差分が閾値以上と判定されることを第２の条件（２）とし、前記第１の条件（１）と第２の条件（２）との両方が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ判定手段５を備えている。
【００３４】
白線検出装置１は、入力側にビデオ入力部６によりカメラ７が接続されるとともに、出力側にビデオ出力部８が接続されている。ビデオ入力部６は、輝度変換手段１１に接続されている。輝度変換手段１１は、予め設定された輝度変換曲線に基づいて、ビデオ入力部６からの入力画像の画素の輝度を変換する。
白線検出装置１は、輝度を変換された画素をそのまま入力するように輝度変換手段１１を第１〜第３の差分算出手段２−１〜２−３に接続するとともに、輝度を変換された画素に対して１画素遅延〜３画素遅延を行った後に第１〜第３の差分算出手段２−１〜２−３に入力させる第１〜第３の画素遅延手段９−１〜９−３を備えている。第１〜第３の差分算出手段２−１〜２−３は、第１〜第３の閾値判定手段３−１〜３−３を介して白線エッジ候補検出手段４に接続されている。
また、白線検出装置１は、輝度を変換された画素をそのまま入力するように輝度変換手段１１を第４〜第６の差分算出手段２−４〜２−６に接続するとともに、輝度を変換された画素に対して４画素遅延〜６画素遅延を行った後に第４〜第６の差分算出手段２−４〜２−６に入力させる第４〜第６の画素遅延手段９−４〜９−６を備えている。第４〜第６の差分算出手段２−４〜２−６は、第４〜第６の閾値判定手段３−４〜３−６を介して白線エッジ判定手段５に接続されている。白線エッジ判定手段５には、前記白線エッジ候補検出手段４が接続されている。
さらに、白線検出装置１は、白線エッジ判定手段５に接続されるとともに、ビデオ出力部８に接続されるエッジ画像生成手段１０を備えている。
輝度変換手段１１を除いた白線検出装置１による処理は、前述実施例１の図２に関する（１）〜（６）の説明に記載されているので、説明は省略する。
【００３５】
次に、図１９の輝度変換の制御用フローチャートに沿って作用を説明する。
白線検出装置１は、プログラムがスタート（２０１）すると、前記ビデオ入力部６を介して、カメラ７からの入力画像の画素データを輝度変換手段１１に入力し（２０２）、輝度値が０〜６３であるかを判断する（２０３）。
この判断（２０３）がＹＥＳの場合は、入力＋（入力／２）とした輝度値を出力し（２０４）、プログラムをエンドにする（２０５）。この判断（２０３）がＮＯの場合は、輝度値が６４〜１２７であるかを判断する（２０６）。
この判断（２０６）がＹＥＳの場合は、入力＋（（１２７−入力）／２）とした輝度値を出力し（２０７）、プログラムをエンドにする（２０５）。この判断（２０６）がＮＯの場合は、輝度値が１２８〜１９１であるかを判断する（２０８）。
この判断（２０８）がＹＥＳの場合は、入力−（（入力−１２７）／２）とした輝度値を出力し（２０９）、プログラムをエンドにする（２０５）。この判断（２０８）がＮＯの場合は、輝度値が１９２〜２５５であるかを判断する（２１０）。
この判断（２１０）がＹＥＳの場合は、入力−（（２５５−入力）／２）とした輝度値を出力し（２１１）、プログラムをエンドにする（２０５）。この判断（２１０）がＮＯの場合は、エラー処理により輝度値０を出力し（２１２）、プログラムをエンドにする（２０５）。
この制御用フローチャートのエンド（２０５）の後は、図１に示す制御用フローチャートにしたがって第１の条件［１］と第２の条件［２］とを判断し、判定対象である画素が黄線（白線）のエッジであるかを判断する。図１に示す制御用フローチャートによる処理は、前述実施例１に記載されているので、説明は省略する。
【００３６】
このように、実施例２の白線検出装置１は、予め設定された輝度変換曲線に基づいて画素の輝度を変換する輝度変換手段１１を備えており、この輝度変換手段１１により輝度を変換された画素に基づいて白線のエッジを検出することで、駐車枠の黄線が影に入っていても、ノイズの発生を抑えて、エッジを検出することができる。また、夜間に撮影した画像でも、路面のテクスチャによるノイズを抑えて、白線のエッジを検出することができる。
【００３７】
なお、実施例２においては、予め設定された輝度変換曲線に基づいて画素の輝度を変換し、輝度を変換された画素に基づいて白線のエッジを検出しているが、差分によるエッジ検出でなく、通常のＳｏｂｅｌフィルタなどでも有効である。
図２９は変形例を示し、図２９（ａ）は図２１（ａ）の入力画像に適用したＳｏｂｅｌ処理によるエッジ検出結果の画像であり、図２９（ｂ）は図２１（ａ）の入力画像に実施例２による処理適用後にＳｏｂｅｌ処理を適用したエッジ検出結果の画像である。図２９（ａ）に対して、図２９（ｂ）は、日向の路面領域のノイズが少ないことがわかる。
また、影領域の駐車枠線の検出性能向上だけを必要とする場合、変換テーブルは、
・例１
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋３２
（３）．１２８〜１９１ ： 出力＝入力＋３２
（４）．１９２〜２５５ ： 出力＝入力＋（（２５５−入力）／２）
・例２
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋３２
（３）．１２８〜１９１ ： 出力＝入力＋（（２５５−入力）／４）
（４）．１９２〜２５５ ： 出力＝入力＋（（２５５−入力）／４）
とすることができる。
【産業上の利用可能性】
【００３８】
この発明は、カメラの画像より白線のみを抽出する技術であり、駐車枠線にかぎらず、線状の図形の検出に利用することができる。
【符号の説明】
【００３９】
１ 白線検出装置
２−１〜２−６ 第１〜第６の差分算出手段
３−１〜３−６ 第１〜第６の閾値判定手段
４ 白線エッジ候補検出手段
５ 白線エッジ判定手段
６ ビデオ入力部
７ カメラ
８ ビデオ出力部
９−１〜９−６ 第１〜第６の画素遅延手段
１０ エッジ画像生成手段
１１ 輝度変換手段
【技術分野】
【０００１】
この発明は白線検出装置に係り、特に、車両に搭載したバックカメラの映像より駐車枠の白線を抽出する白線検出装置に関するものである。
【背景技術】
【０００２】
画像中の白線を検出するために、画像中のエッジを検出する際、通常は、Ｓｏｂｅｌ、ラプラシアンなどの二次元オペレータを用いた後、閾値を用いた２値化を行う。しかし、一意に閾値を決定することは困難である場合が多い。
駐車枠に自車を止めるために、駐車枠の白線を検出する場合は、画像中の縦方向に現れるエッジを検出する必要がある。エッジ検出に当たっては、路面の模様、影、照明などの影響を極力排除する必要がある。
【０００３】
従来の白線検出装置においては、微分を用いてエッジを検出した後、パーセンタイル法を用いて、２値化後に１となっている画素数が、全画素数のｎ％となるように閾値を決定し、２値化しているものがある。（特許文献１）
また、従来の白線検出装置においては、微分結果より空間的な稜線を求めることにより、エッジの検出を行っているものがある。（特許文献２）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６４−１５６０５号公報
【特許文献２】特開昭６４−６１６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前記特許文献１に開示されるものは、微分を用いてエッジを検出した後、パーセンタイル法を用いて、２値化後に１となっている画素数が、全画素数のｎ％となるように閾値を決定し、２値化している。
このため、特許文献１は、閾値を変更しながら、所望の閾値を決定する必要があること、環境によって、石畳などテクスチャが複雑な背景となった場合、２値化により１となる画素が想定以上に生じると、正しく閾値が求まらない可能性がある。
また、特許文献１は、エッジの検出方法も、カメラが４５度、１３５度固定であり、カメラの取付角度によっては、必ずしも当てはまらない場合がある。
【０００６】
前記特許文献２に開示されるものは、微分結果より空間的な稜線を求めることにより、エッジの検出を行っているが、微分データの増減を探索する必要があり、また微小な増減に対応するためには、複数の稜線候補点からさらに絞り込む必要があるなど、処理が煩雑である。
また、特許文献２は、白線両端のエッジについては、「黒」→「白」方向のもののみを検出対象としているため、白線の汚れなどにより複数のエッジが検出されてしまう可能性がある。そして、複数のエッジが検出されると、特許文献２は、後段にて白線検出を行う際（例えば、Ｈｏｕｇｈ変換）、候補点が増加するため、より多くのメモリを必要とするなどの問題がある。
【０００７】
本発明は、白線のエッジ抽出の際の閾値の決定手段（適応制御的なもの）を不要とし、処理を簡素化して、白線両端に生じるエッジを路面の模様、影、照明などの影響を極力排除し信頼性高く抽出することができる白線検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする。
【発明の効果】
【０００９】
従来技術では、白線両端微分値強調フィルタを用いるので、画像をメモリに一度記憶する必要がある。したがって、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、閾値が変動するので、画像の各位置に応じて閾値を適応制御する必要がある。そのためには判別分析法等の処理をする必要があるが、これらの処理は非常に重く、また並列処理をする場合でも膨大なリソースが必要になる。
この発明の白線検出装置では、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。
また、この発明の白線検出装置では、白線が影に入っている場合でも、白線のエッジを検出することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は白線検出装置によるエッジ検出の制御用フローチャートである。（実施例１）
【図２】図２は白線検出装置のシステム構成図である。（実施例１）
【図３】図３はオペレータを示し、（ａ）は差分オペレータを示す概略説明図、（ｂ）は白線両端微分値強調フィルタのオペレータを示す概略説明図である。（実施例１）
【図４】図４は微分と道路の白線と白線両端微分値強調フィルタ演算値とを示す図である。（実施例１）
【図５】図５は画像を示し、（ａ）は処理前の画像を示す図、（ｂ）は閾値を「１」としたときのエッジ検出結果の画像を示す図、（ｃ）は閾値を「１０」としたときのエッジ検出結果の画像を示す図、（ｄ）は閾値を「２０」としたときのエッジ検出結果の画像を示す図である。（実施例１）
【図６】図６は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「１８０」の設定１における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図７】図７は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「６２」の設定２における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図８】図８は閾値を「１０」とした際の、壁（３２０．２４０）の明るさ「３２」の設定３における明るさの変化の影響を示し、（ａ）は処理前の画像を示す図、（ｂ）はエッジ検出結果の画像を示す図である。（実施例１）
【図９】図９は 図８の設定３において閾値を「５」に設定した際の、エッジ検出結果の画像を示す図である。（実施例１）
【図１０】図１０は実際の駐車枠の画像処理であって、（ａ）は影がある入力画像を示す図、（ｂ）は差分によるエッジ検出結果の画像を示す図である。（実施例１）
【図１１】図１１は影がある入力画像に測定ラインを設定した画像を示す図である。（実施例１）
【図１２】図１２は図１１の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例１）
【図１３】図１３は輝度変化を示す画素に対する閾値による差分処理を示す図である。（実施例１）
【図１４】図１４は図１０（ａ）の影がある入力画像の第１の条件［１］によるエッジ検出結果の画像を示す図である。（実施例１）
【図１５】図１５は図１１の測定ラインによる横方向の輝度変化（ラインプロファイル）を示し、輝度変化後の輝度値の維持状態を説明する図である。（実施例１）
【図１６】図１６は輝度変化を示す画素に対する閾値による差分処理を示し、（ａ）は閾値を超えている輝度の幅が広い場合の差分処理を示す図、（ｂ）は閾値を超えている輝度の幅が狭い場合の差分処理を示す図である。（実施例１）
【図１７】図１７は図１０（ａ）の影がある入力画像の第２の条件［２］によるエッジ検出結果を示す画像を示す図である。（実施例１）
【図１８】図１８は夜間の実際の駐車枠の画像処理であって、（ａ）はブレーキランプが点灯した際の入力画像を示す図、（ｂ）は差分によるエッジ検出結果の画像を示す図、（ｃ）影がある入力画像の第１の条件［１］によるエッジ検出結果の画像を示す図、（ｄ）は影がある入力画像の第２の条件［２］によるエッジ検出結果を示す画像を示す図である。（実施例１）
【図１９】図１９は白線検出装置による輝度変換の制御用フローチャートである。（実施例２）
【図２０】図２０は白線検出装置のシステム構成図である。（実施例２）
【図２１】図２１は駐車枠が黄線の画像処理であって、（ａ）は影がある入力画像を示す図、（ｂ）は実施例１の処理によるエッジ検出結果（閾値１０）の画像を示す図、（ｃ）は実施例１の処理による閾値５の場合のエッジ検出結果の画像を示す図である。（実施例２）
【図２２】図２２は駐車枠が黄線の画像処理であって、（ａ）は図１８（ａ）の入力画像に適用した実施例１の処理によるエッジ検出結果（閾値５）の画像を示す図、（ｂ）は図１８（ａ）の入力画像に適用した実施例１の処理によるエッジ検出結果（閾値１０）の画像を示す図である。（実施例２）
【図２３】図２３は駐車枠が黄線の影がある入力画像に測定ラインを設定した画像を示す図である。（実施例２）
【図２４】図２４は図２３の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例２）
【図２５】図２５は夜間の駐車枠が黄線の入力画像に測定ラインを設定した画像を示す図である。（実施例２）
【図２６】図２６は図２５の測定ラインによる横方向の輝度変化（ラインプロファイル）を示す図である。（実施例２）
【図２７】図２７は輝度変換曲線を示す図である。（実施例２）
【図２８】図２８は駐車枠が黄線の画像処理であって、（ａ）は図２１（ａ）の入力画像に適用したこの発明の処理によるエッジ検出結果の画像を示す図、（ｂ）は図２５の入力画像に適用したこの発明の処理によるエッジ検出結果の画像を示す図である。（実施例２）
【図２９】図２９は駐車枠が黄線の画像処理であって、（ａ）は図２１（ａ）の入力画像に適用したＳｏｂｅｌ処理によるエッジ検出結果の画像を示す図、（ｂ）は図１８（ａ）の入力画像にこの発明による処理適用後にＳｏｂｅｌ処理を適用したエッジ検出結果の画像を示す図である。（変形例）
【発明を実施するための形態】
【００１１】
以下図面に基づいて、この発明の実施例を説明する。
【実施例１】
【００１２】
図１〜図１８は、この発明の実施例１を示すものである。
図２において、１は白線検出装置である。白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素（この実施例１では１〜３画素）隣の画素との輝度の差分を算出する第１〜第３の差分算出手段２−１〜２−３と、この第１〜第３の差分算出手段２−１〜２−３により算出された差分が予め設定された閾値以上か否かを判定する第１〜第３の閾値判定手段３−１〜３−３とを備え、この第１〜第３の閾値判定手段３−１〜３−３の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件［１］とし、この第１の条件［１］が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ候補検出手段４を備えている。
また、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出する第４〜第６の差分算出手段２−４〜２−６と、この第４〜第６の差分算出手段２−４〜２−６により算出された差分が予め設定された閾値以上か否かを判定する第４〜第６の閾値判定手段３−４〜３−６とを備え、この第４〜第６の閾値判定手段３−４〜３−６の全てにより差分が閾値以上と判定されることを第２の条件［２］とし、前記第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ判定手段５を備えている。
【００１３】
白線検出装置１は、入力側にビデオ入力部（「デコーダ」ともいう。）６によりカメラ７が接続されるとともに、出力側にビデオ出力部（「エンコーダ」ともいう。）８が接続されている。
白線検出装置１は、ビデオ入力部６からの入力画像をそのまま入力するようにビデオ入力部６を第１〜第３の差分算出手段２−１〜２−３に接続するとともに、ビデオ入力部６からの入力画像に対して１画素遅延〜３画素遅延を行った後に第１〜第３の差分算出手段２−１〜２−３に入力させる第１〜第３の画素遅延手段９−１〜９−３を備えている。第１〜第３の差分算出手段２−１〜２−３は、第１〜第３の閾値判定手段３−１〜３−３を介して白線エッジ候補検出手段４に接続されている。
また、白線検出装置１は、ビデオ入力部６からの入力画像をそのまま入力するようにビデオ入力部６を第４〜第６の差分算出手段２−４〜２−６に接続するとともに、ビデオ入力部６からの入力画像に対して４画素遅延〜６画素遅延を行った後に第４〜第６の差分算出手段２−４〜２−６に入力させる第４〜第６の画素遅延手段９−４〜９−６を備えている。第４〜第６の差分算出手段２−４〜２−６は、第４〜第６の閾値判定手段３−４〜３−６を介して白線エッジ判定手段５に接続されている。白線エッジ判定手段５には、前記白線エッジ候補検出手段４が接続されている。
さらに、白線検出装置１は、白線エッジ判定手段５に接続されるとともに、ビデオ出力部８に接続されるエッジ画像生成手段１０を備えている。
【００１４】
白線検出装置１は、カメラ７からビデオ入力部６を介して入力される入力画像を以下の手順で処理して出力する。
（１）、入力画像は、ラスタスキャンにより「上から下」、「左から右」の順に各画素のデータ（輝度、色）が入力される。白線検出装置１は、入力画像の輝度の情報を用いる。
（２）、入力された画素の輝度情報は、第１〜第６の差分算出手段２−１〜２−６により１画素前（左）〜６画素前（左）までの差分の算出を行う。
（３）、白線検出装置１は、差分結果（絶対値）を第１〜第３の閾値判定手段３−１〜３−３で閾値処理し、エッジ位置候補点を抽出する。３画素前までの抽出結果は、白線エッジ候補検出手段４の第１の条件［１］によるＯＲ処理にて白線のエッジ候補を検出する。
（４）、エッジ位置候補が検出された場合、さらに６画素前までの結果を白線エッジ判定手段５の第２の条件［２］によるＡＮＤ処理により白線によるエッジ位置を判定する。
（５）、以上より、白線のエッジとして抽出された画素を用いて、エッジ画像生成手段１０によりエッジ画像を生成する。
（６）、生成されたエッジ画像は、ビデオ出力部８により出力され、Ｈｏｕｇｈ変換など白線検出などに利用できる。
【００１５】
これに対して、白線検出装置の従来技術では、白線両端微分値強調フィルタを用いるので、画像をメモリに一度記憶する必要がある。したがって、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、閾値が変動するので、画像の各位置に応じて閾値を適応制御する必要がある。そのためには判別分析法等の処理をする必要があるが、これらの処理は非常に重く、また並列処理をする場合でも膨大なリソースが必要になる。
【００１６】
この白線検出装置１では、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。また、この白線検出装置１では、白線が影に入っている場合でも、白線のエッジを検出することができ、さらに、ノイズを増やすことなく、白線のエッジを検出することができる。
【００１７】
ここで、この発明の白線検出装置１に対して、従来の処理例としての白線両端微分値強調フィルタを用いた方法を説明する。
従来の手法においては、画像の微分を求め、白線両端微分値強調フィルタを用いて道路の白線幅と同じ幅を持つ白線の抽出を行っている。ここで、微分は差分で置き換え可能であるので、差分オペレータ（図３（ａ））を用いて差分画像を得る。白線両端微分値強調フィルタは、道路白線幅（画素数）と同じ幅を持つオペレータで、図３（ｂ）に示すように、オペレータの中央で符号が「＋（プラス）」から「−（マイナス）」へ反転する。
以上の処理により、図４に示すような結果が得られ、適切な閾値を選択することにより、道路上の白線と同じ幅を持つ特徴のみを抽出することができる。なお、閾値の選択には、判別分析法などを用いる。
【００１８】
従来技術で用いられている微分（差分）処理については、同様に走査線方向（画面横方向）での差分処理とする。しかし、白線両端微分値強調フィルタを用いるためには、画像（走査線）を一度メモリに記録する必要があるため、その分のリソースが必要となる。また、白線両端微分値強調フィルタを用いると、図４に示すように、閾値レベルが変動するため、画像の各位置に応じて閾値を適応制御する必要がある。
そのためには、判別分析法などの処理が必要となるが、これらの処理は非常に重く、また並列処理する場合も膨大なリソースが必要となる。
そこで、「差分画像は、すぐ隣の画素との差分であり、隣接画素と当該画素の明るさ（照明条件）が大きく異なることは稀である」（例外：影によるエッジ）こと、また一般に駐車枠に引かれた白線などは、運転者が識別し易いように、路面とコントラストがはっきりしていると考えられるため、閾値は一定値とすることとした。
【００１９】
図５において、（ａ）は処理前の画像を示し、（ｂ）は閾値を「１」としたときのエッジ検出結果の画像を示し、（ｃ）は閾値を「１０」としたときのエッジ検出結果の画像を示し、（ｄ）は閾値を「２０」としたときのエッジ検出結果の画像を示す。なお、図５においては、エッジの極性による区別なく、「白→黒」や「黒→白」の全てを表示している。
図５（ｂ）に示すように、閾値「１」では、細かなテクスチャによるエッジによる影響が見られる。しかし、図５（ｃ）及び（ｄ）に示すように、閾値「１０」及び閾値「２０」では、良好な結果が得られている。ここで、輝度変化による影響を確認するために、閾値「１０」にてレンズの絞りを変化させたときの結果を、図６〜図８に示す。
図６は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「１８０」の設定１における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
また、図７は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「６２」の設定２における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
更に、図８は、閾値を「１０」とした際の、壁（３２０、２４０）の明るさ「３２」の設定３における明るさの変化の影響を示し、（ａ）は処理前の画像を示し、（ｂ）はエッジ検出結果の画像を示している。
この図６〜図８から、ダイナミックレンジの１／４程度の暗さまでは対応可能であることがわかる。
なお、上述の図８に開示される設定３の場合、画像奥の壁に近づくに連れて、エッジの検出ができなくなっている。仮に閾値を「５」まで下げた場合は、図９に示すように、エッジの検出は可能であるが、ノイズによる影響が大きくなってしまう。このことより、この従来手法の閾値決定に判別分析法を用いても、効果が少ないことが確認できる。
【００２０】
上記従来手法による差分および閾値処理を実際の路面に適用した場合、下記のような問題が生じる。図１０（ａ）のように影がある画像の場合、白線と路面との輝度差が少なく境界（隣接画素間）に明確な輝度差が生じないため、図１０（ｂ）のように白線のエッジが検出できていない。
そこで、図１０（ａ）に示す入力画像について、図１１に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図１２に示すように、明るい場所に比べて影のある場所では、白線と路面間の輝度変化に違いがあることがわかる。明るい場所では輝度変化が急峻である一方、影のある場所では輝度変化がなだらかになっている。なだらかな輝度変化に対応するためには、閾値を低くする必要があるが、閾値を低くすることにより不要なノイズが増加する欠点がある。
【００２１】
この欠点に対して、この発明の白線検出装置１においては、なだらかな輝度変化に対応するため、差分処理の拡張をおこない、注目画素の一つ左隣（１画素前）の画素だけでなく二つ隣（２画素前）や三つ隣（３画素前）の画素とも差分を取り、いずれかが、閾値を超えた場合に白線によるエッジとして検出することとする。
図１３において、□０（四角の中に０）は、現在の注目画素を表し、□１、□２、□３（四角の中に１、２、３）はそれぞれ、一つ左隣、二つ左隣、三つ左隣の各画素位置を表している。グラフの値がそれぞれの画素の輝度を表している。
図１０の従来手法における差分処理では、｜□０−□１｜≧閾値であればエッジとしていたため、図１３に示すようななだらかなエッジには対応できていなかった。
そこで、この発明の白線検出装置１では、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
とすることで、なだらかなエッジにも対応可能とした。
図１４は、実際の路面の画像を上記第１の条件［１］にて判定した場合の、エッジの検出結果である。図１４の検出結果は、図１０（ｂ）の検出結果に比べると、影の部分の白線のエッジを検出できていることがわかる。
【００２２】
このように、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜３画素隣の画素との輝度の差分を算出し、算出された差分が予め設定された閾値以上か否かを判定し、少なくともいずれか１つの差分が閾値以上と判定されることを第１の条件［１］とし、この第１の条件［１］が満たされた場合に、判定対象である画素を白線のエッジとしている。
これにより、白線検出装置１は、背景光の影響を受けにくい為、閾値を一定とすることができる。このため、少ないリソースで済み、また処理を容易にすることができる。したがって、ＦＰＧＡ等の汎用性の高いデバイスを用いても、リアルタイムに処理が可能となる。また、この白線検出装置１では、白線が影に入っている場合でも、白線のエッジを検出することができる。
【００２３】
また、図１４では、図１０（ｂ）の検出結果に比べ、路面のテクスチャによる誤検出が増えていることがわかる。Ｈｏｕｇｈ変換などで白線を検出する場合、信頼性向上のためには、白線以外によるノイズは極力少ないことが望ましい。
そこで、再度ラインプロファイル（図１２）を検討してみると、図１５に示すように、白線部では白線が幅を持つため、輝度が変化し差分値が閾値を越えた後も高い輝度値（大きい差分値）を維持するのに対し、路面部分では高い輝度値を維持していないことがわかる。
そこで、この発明の白線検出装置１は、前記第１の条件［１］を拡張し、輝度変化により、注目画素と１〜３個隣の画素との差分値が同値を越えた後、図１６に示すように、さらに３画素（４〜６画素）隣の画素との差分値が同値を超えることを第２の条件［２］として加えている。
図１６（ａ）は、閾値を超えている輝度の幅が広い場合の差分処理を示している。図１６（ｂ）は、閾値を超えている輝度の幅が狭い場合の差分処理を示している。
つまり、この発明の白線検出装置１は、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
を拡張し、
（第１の条件［１］）ａｎｄ（｜□０−□４｜≧閾値）ａｎｄ（｜□０−□５｜≧閾値）ａｎｄ（｜□０−□６｜≧閾値）…第２の条件［２］、
とする。
第２の条件［２］による処理を追加した結果を、図１７に示す。図１７によれば、白線部はそのままに、図１４の検出結果と比較して、路面のノイズが減っていることがわかる。
【００２４】
このように、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出し、算出された差分が予め設定された閾値以上か否かを判定し、全ての差分が閾値以上と判定されることを第２の条件［２］とし、前記第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとしている。
これにより、白線検出装置１は、白線が影に入っている場合でも、ノイズを増やすことなく、白線のエッジを検出することができる。
【００２５】
白線検出装置１のノイズ削減効果について参考のため、他の実験データも示す。
図１８（ａ）は、夜間にブレーキランプが点灯した際の入力画像であり、図１８（ｂ）、１８（ｃ）、１８（ｄ）はそれぞれ、隣の画素との差分処理の画像、第１の条件［１］による処理に閾値処理を組み合わせた結果の画像、第２の条件［２］による処理に閾値処理を組み合わせた結果の画像である。
図１８（ｄ）に示す結果の画像は、図１８（ｂ）の画像より白線部が鮮明であり、図１８（ｃ）の画像よりノイズが少ないことが確認できる。
なお、上記閾値、第１の条件［１］、第２の条件［２］で用いる画素数や閾値は、一例であり、使用するカメラ７によりレンズの画角や地面からの距離によりカメラ７に映る白線の幅が変わるためにより変化する。
【００２６】
次に、図１のエッジ検出の制御用フローチャートに沿って作用を説明する。この制御用フローチャートにおいては、エッジ判定を３画素とする第１の条件［１］と、白線判定（閾値を越えている幅）を３画素とする第２の条件［２］により白線のエッジを検出する。
白線検出装置１は、プログラムがスタート（１０１）すると、ビデオ入力部６を介して、カメラ７からの入力画像の画素データを入力し（１０２）、第１〜第３の画素遅延手段９−１〜９−３により１画素遅延〜３画素遅延の画素遅延処理（１０３）を行った画素データと入力したそのままの画素データとを第１〜第３の差分算出手段２−１〜２−３によって差分処理を行い（１０４）、第１〜第３の閾値判定手段３−１〜３−３によって第１〜第３の差分のいずれかの差分（絶対値）が閾値以上であるか（第１の条件［１］）を判断する（１０５）。
この判断（１０５）がＹＥＳの場合は、第４〜第６の画素遅延手段９−４〜９−６により４画素遅延〜６画素遅延の画素遅延処理（１０３）を行った画素データと入力したそのままの画素データとを第４〜第６の差分算出手段２−４〜２−６によってそれぞれ差分処理を行い（１０６）、第４〜第６の閾値判定手段３−４〜３−６によって第４〜第６の差分の全ての差分（絶対値）が閾値以上であるか（第２の条件［２］）を判断する（１０７）。
この判断（１０７）がＹＥＳの場合は、輝度値をＭａｘ（白）とし（１０８）、エッジ画像生成手段１０によりエッジ画像を生成し（１０９）、ビデオ出力部８に出力してプログラムをエンドにする（１１０）。
一方、前記判断（１０５）がＮＯの場合、また、前記判断（１０７）がＮＯの場合は、輝度値をＭｉｎ（黒）とし（１１１）、エッジ画像生成手段１０によりエッジ画像を生成し（１０９）、ビデオ出力部８に出力してプログラムをエンドにする（１１０）。
【００２７】
これにより、白線検出装置１は、第１の条件［１］と第２の条件［２］との両方が満たされた場合に、判定対象である画素を白線のエッジとしているので、白線が影に入っている場合でも、ノイズを増やすことなく、白線のエッジを検出することができる。
なお、第１の条件［１］と第２の条件［２］の処理は、
１．全ての画素に対しおこない、第１の条件［１］の結果と第２の条件［２］の処理のＡＮＤとする。
２．第１の条件［１］が成り立った場合にのみ、第２の条件［２］の処理をおこなう。
のいずれの方法でも良い。
【００２８】
上述実施例１では、第１の条件［１］、第２の条件［２］は、
（｜□０−□１｜≧閾値）ｏｒ（｜□０−□２｜≧閾値）ｏｒ（｜□０−□３｜≧閾値）…第１の条件［１］、
（第１の条件［１］）ａｎｄ（｜□０−□４｜≧閾値）ａｎｄ（｜□０−□５｜≧閾値）ａｎｄ（｜□０−□６｜≧閾値）…第２の条件［２］、
としているが、これに限定されるものではなく、第１の条件［１］が成立する画素位置（例えば２画素前）から、第２の条件［２］を適用してもよい。
例えば、２画素前で第１の条件［１］が成立する場合は、
（第１の条件［１］）ａｎｄ（｜□０−□３｜≧閾値）ａｎｄ（｜□０−□４｜≧同値）ａｎｄ（｜□０−□５｜≧同値）…第２の条件［１］、
とすることができる。
また、１画素前で第１の条件［１］が成立する場合は、
（第１の条件［１］）ａｎｄ（｜□０−□２｜≧閾値）ａｎｄ（｜□０−□３｜≧閾値）ａｎｄ（｜□０−□４｜≧閾値）…第２の条件［１］、
とするこができる。
また、検出するエッジは、画像メモリを使用しない場合には、横方向の探索のみとなるが、画像メモリが使用できる場合には、縦方向や縦横複合での検出が可能である。使用する画像メモリは、フレーム処理では、１フィールド分必要となるが、フィールド処理もしくはプログレッシブスキャンの場合は、実施例では６ライン分の記憶領域があればよい。
【実施例２】
【００２９】
図１９〜図２８は、この発明の実施例２を示すものである。
上述実施例１の白線検出装置１においては、隣接画素との差分処理により固定閾値で白線の検出をおこなう場合も、他の車などの陰になっている領域などでは、輝度変化が少ないため、検出できない場合がある。特に、駐車枠が黄色の線などの場合、黄線は白線よりも輝度が低いため、検出できない状況が高まる場合がある。この問題に対応するために、閾値を低く設定すると、路面のテクステャなどの誤検出によるノイズの発生が顕著となり、Ｈｏｕｇｈ変換などでの線分検出が困難となる。
図２１（ａ）に示すように、影中の駐車枠が黄線の場合、図２１（ｂ）に示すように、実施例１の白線検出装置１による処理（閾値１０）では黄線の駐車枠の抽出が困難である。図２１（ｃ）に示すように、単純に閾値を１／２（閾値５）にした場合、黄線のエッジは抽出できているが、路面のノイズが増加していることがわかる。
図２１に示す駐車枠の黄線の抽出は、閾値を下げる（閾値５）ことにより、エッジの抽出は可能となるが、路面のテクスチャにより生じるノイズが増加している。また同じように実施例１の白線検出装置１による処理を、前述図１８（ａ）の夜間の駐車枠の画像に適用すると、閾値５による適用例の図２２（ａ）、閾値１０による適用例の図２２（ｂ）に示すように、やはりノイズが増加していることがわかる。
これは、映像信号はその性質上（ＡＭ信号）、レベルが低い（暗い）領域ではＳＮ比が悪化する。閾値を下げることは、暗い領域のノイズの影響を受けやすくなるためノイズが増加し、効果は少ないことと、閾値を下げたことにより、路面のテクスチャ（凹凸にライトが反射）の影響が増えたためである。
【００３０】
そこで、図２１（ａ）に示す入力画像について、図２３に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図２４に示す結果が得られた。
図２４のラインプロファイルを見ると、影の中の路面の輝度値は、５０以下、影以外の路面の輝度値は１００前後、影中の黄色線の輝度は６０前後、影以外の白線の輝度は、１８０〜２００程度となっていることが分かる。また、影以外の路面領域では、５から１０程度のばらつきが生じていることが分かる。
この結果より、閾値１０では、影中の黄色線を検出するにはぎりぎりの閾値であり、また閾値を５（１／２）に下げると、影以外の路面領域で、ノイズを生じる原因となることが分かる。
また、前述図１８（ａ）のように夜間では、図２５に示すように横方向の測定ラインを設定し、輝度変化（ラインプロファイル）をとってみると、図２６に示すように、路面の輝度値が、１００〜１８０程度で大きくばらつき、白線は、ほぼ２５０前後となっていることがわかる。
【００３１】
上記２例（図２３・図２４及び図２５・図２６）より、輝度が低い領域では、路面と黄線の差が少なく（白線でも同様［図１２参照］）、影となっていない領域では差が大きくなることが分かる。また、夜間などでも、路面の輝度は１２０前後あり、白線の輝度は２５０を越えることが分かる。よって、５０前後での閾値を、現状よりも少し下げ（１０以下）、それ以上の領域の閾値は、現状よりも上げて（１０以上）よいことがわかる。
これは、カメラのオートゲインコントロールにより、簡単には画像の平均輝度が輝度分解能の半分（例では８ｂｉｔなので１２８）になるように調節しているからである。
よって、中間輝度の領域のコントラストをさげ、日中の影の輝度領域（５０以下）のコントラストを向上させ、夜間の路面領域（２００以下）のコントラストを下げるように、予め設定された輝度変換曲線に基づいて入力画像の画素の輝度を変換することにより、駐車枠を示す白線（黄線）の検出性能の向上と路面のテクスチャによるノイズ除去の双方に効果のあることがわかった。
図２７は、提案する輝度変換曲線を示す。図２７の輝度変換曲線によると、入力輝度が０〜１２８までは、出力を増加させ、１２８以上は出力が入力よりも低くなっている。また、６４から１９２までは、入力輝度変化に対し出力輝度の変化の傾きは１／２になっている。これにより、路面のデータが多く存在する１００前後から１８０前後にかけての路面のテクスチャによるノイズに対しては、閾値２０を適用したのとほぼ等価となり、ノイズの発生を抑えることが出来る。また、影の中の路面のデータが多く存在する５０以下については、６４以下の入力に対する出力の傾きを１．５倍とすることで、閾値を７程度まで下げた効果を得ることができる。
【００３２】
また、図２７の輝度変換曲線は、その屈曲点を６４、１９２とすることにより、足し算、引き算、ビットシフトによる割り算で演算可能なため、計算に必要なリソースが少なくてすむ。このため、低価格帯のＦＰＧＡにも十分に実装可能である。
輝度変換曲線の変換式は、
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋（（１２７−入力）／２）
（３）．１２８〜１９１ ： 出力＝入力−（（入力−１２７）／２）
（４）．１９２〜２５５ ： 出力＝入力−（（２５５−入力）／２）
である。
図２７の変換テーブルを、図２１（ａ）の画像と図１８（ａ）の画像に適用した結果を、図２８（ａ）と図２８（ｂ）にそれぞれ示す。輝度変換曲線に基づいて入力画像の画素の輝度を変換することによって、問題となっていた駐車枠の黄線の検出を可能とし、増加した路面のテクスチャによるノイズを大幅に削減することが出来ていることがわかる。
【００３３】
実施例２の白線検出装置１は、駐車枠の黄線の検出を可能とし、増加した路面のテクスチャによるノイズを削減するために、図２０に示すように、実施例１の構成に加えて、輝度変換手段１１を備えている。輝度変換手段１１は、ビデオ入力部６からの入力画像を入力し、予め設定された輝度変換曲線に基づいて入力画像の画素の輝度を変換する。白線検出装置１は、この輝度変換手段１１により輝度を変換された画素に基づいて白線のエッジを検出する。
実施例２の白線検出装置１は、実施例１と同様に、白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素（この実施例１では１〜３画素）隣の画素との輝度の差分を算出する第１〜第３の差分算出手段２−１〜２−３と、この第１〜第３の差分算出手段２−１〜２−３により算出された差分が予め設定された閾値以上か否かを判定する第１〜第３の閾値判定手段３−１〜３−３とを備え、この第１〜第３の閾値判定手段３−１〜３−３の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件（１）とし、この第１の条件（１）が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ候補検出手段４を備えている。
また、白線検出装置１は、白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素（この実施例１では４〜６画素）隣の画素との輝度の差分を算出する第４〜第６の差分算出手段２−４〜２−６と、この第４〜第６の差分算出手段２−４〜２−６により算出された差分が予め設定された閾値以上か否かを判定する第４〜第６の閾値判定手段３−４〜３−６とを備え、この第４〜第６の閾値判定手段３−４〜３−６の全てにより差分が閾値以上と判定されることを第２の条件（２）とし、前記第１の条件（１）と第２の条件（２）との両方が満たされた場合に、判定対象である画素を白線のエッジとする白線エッジ判定手段５を備えている。
【００３４】
白線検出装置１は、入力側にビデオ入力部６によりカメラ７が接続されるとともに、出力側にビデオ出力部８が接続されている。ビデオ入力部６は、輝度変換手段１１に接続されている。輝度変換手段１１は、予め設定された輝度変換曲線に基づいて、ビデオ入力部６からの入力画像の画素の輝度を変換する。
白線検出装置１は、輝度を変換された画素をそのまま入力するように輝度変換手段１１を第１〜第３の差分算出手段２−１〜２−３に接続するとともに、輝度を変換された画素に対して１画素遅延〜３画素遅延を行った後に第１〜第３の差分算出手段２−１〜２−３に入力させる第１〜第３の画素遅延手段９−１〜９−３を備えている。第１〜第３の差分算出手段２−１〜２−３は、第１〜第３の閾値判定手段３−１〜３−３を介して白線エッジ候補検出手段４に接続されている。
また、白線検出装置１は、輝度を変換された画素をそのまま入力するように輝度変換手段１１を第４〜第６の差分算出手段２−４〜２−６に接続するとともに、輝度を変換された画素に対して４画素遅延〜６画素遅延を行った後に第４〜第６の差分算出手段２−４〜２−６に入力させる第４〜第６の画素遅延手段９−４〜９−６を備えている。第４〜第６の差分算出手段２−４〜２−６は、第４〜第６の閾値判定手段３−４〜３−６を介して白線エッジ判定手段５に接続されている。白線エッジ判定手段５には、前記白線エッジ候補検出手段４が接続されている。
さらに、白線検出装置１は、白線エッジ判定手段５に接続されるとともに、ビデオ出力部８に接続されるエッジ画像生成手段１０を備えている。
輝度変換手段１１を除いた白線検出装置１による処理は、前述実施例１の図２に関する（１）〜（６）の説明に記載されているので、説明は省略する。
【００３５】
次に、図１９の輝度変換の制御用フローチャートに沿って作用を説明する。
白線検出装置１は、プログラムがスタート（２０１）すると、前記ビデオ入力部６を介して、カメラ７からの入力画像の画素データを輝度変換手段１１に入力し（２０２）、輝度値が０〜６３であるかを判断する（２０３）。
この判断（２０３）がＹＥＳの場合は、入力＋（入力／２）とした輝度値を出力し（２０４）、プログラムをエンドにする（２０５）。この判断（２０３）がＮＯの場合は、輝度値が６４〜１２７であるかを判断する（２０６）。
この判断（２０６）がＹＥＳの場合は、入力＋（（１２７−入力）／２）とした輝度値を出力し（２０７）、プログラムをエンドにする（２０５）。この判断（２０６）がＮＯの場合は、輝度値が１２８〜１９１であるかを判断する（２０８）。
この判断（２０８）がＹＥＳの場合は、入力−（（入力−１２７）／２）とした輝度値を出力し（２０９）、プログラムをエンドにする（２０５）。この判断（２０８）がＮＯの場合は、輝度値が１９２〜２５５であるかを判断する（２１０）。
この判断（２１０）がＹＥＳの場合は、入力−（（２５５−入力）／２）とした輝度値を出力し（２１１）、プログラムをエンドにする（２０５）。この判断（２１０）がＮＯの場合は、エラー処理により輝度値０を出力し（２１２）、プログラムをエンドにする（２０５）。
この制御用フローチャートのエンド（２０５）の後は、図１に示す制御用フローチャートにしたがって第１の条件［１］と第２の条件［２］とを判断し、判定対象である画素が黄線（白線）のエッジであるかを判断する。図１に示す制御用フローチャートによる処理は、前述実施例１に記載されているので、説明は省略する。
【００３６】
このように、実施例２の白線検出装置１は、予め設定された輝度変換曲線に基づいて画素の輝度を変換する輝度変換手段１１を備えており、この輝度変換手段１１により輝度を変換された画素に基づいて白線のエッジを検出することで、駐車枠の黄線が影に入っていても、ノイズの発生を抑えて、エッジを検出することができる。また、夜間に撮影した画像でも、路面のテクスチャによるノイズを抑えて、白線のエッジを検出することができる。
【００３７】
なお、実施例２においては、予め設定された輝度変換曲線に基づいて画素の輝度を変換し、輝度を変換された画素に基づいて白線のエッジを検出しているが、差分によるエッジ検出でなく、通常のＳｏｂｅｌフィルタなどでも有効である。
図２９は変形例を示し、図２９（ａ）は図２１（ａ）の入力画像に適用したＳｏｂｅｌ処理によるエッジ検出結果の画像であり、図２９（ｂ）は図２１（ａ）の入力画像に実施例２による処理適用後にＳｏｂｅｌ処理を適用したエッジ検出結果の画像である。図２９（ａ）に対して、図２９（ｂ）は、日向の路面領域のノイズが少ないことがわかる。
また、影領域の駐車枠線の検出性能向上だけを必要とする場合、変換テーブルは、
・例１
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋３２
（３）．１２８〜１９１ ： 出力＝入力＋３２
（４）．１９２〜２５５ ： 出力＝入力＋（（２５５−入力）／２）
・例２
（１）． ０〜６３ ： 出力＝入力＋（入力／２）
（２）． ６４〜１２７ ： 出力＝入力＋３２
（３）．１２８〜１９１ ： 出力＝入力＋（（２５５−入力）／４）
（４）．１９２〜２５５ ： 出力＝入力＋（（２５５−入力）／４）
とすることができる。
【産業上の利用可能性】
【００３８】
この発明は、カメラの画像より白線のみを抽出する技術であり、駐車枠線にかぎらず、線状の図形の検出に利用することができる。
【符号の説明】
【００３９】
１ 白線検出装置
２−１〜２−６ 第１〜第６の差分算出手段
３−１〜３−６ 第１〜第６の閾値判定手段
４ 白線エッジ候補検出手段
５ 白線エッジ判定手段
６ ビデオ入力部
７ カメラ
８ ビデオ出力部
９−１〜９−６ 第１〜第６の画素遅延手段
１０ エッジ画像生成手段
１１ 輝度変換手段
【特許請求の範囲】
【請求項１】
白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、
この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、
この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする白線検出装置。
【請求項２】
白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素隣の画素との輝度の差分を算出する第Ｌ〜第Ｍの差分算出手段と、
この第Ｌ〜第Ｍの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第Ｌ〜第Ｍの閾値判定手段とを備え、
この第Ｌ〜第Ｍの閾値判定手段の全てにより差分が閾値以上と判定されることを第２の条件とし、前記第１の条件と第２の条件との両方が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする請求項１に記載の白線検出装置。
【請求項３】
予め設定された輝度変換曲線に基づいて画素の輝度を変換する輝度変換手段を備え、
この輝度変換手段により輝度を変換された画素に基づいて白線のエッジを検出することを特徴とする請求項１または請求項２に記載の白線検出装置。
【請求項１】
白線のエッジか否かの判定対象である画素とこの画素から走査線方向に１〜Ｋ画素隣の画素との輝度の差分を算出する第１〜第Ｋの差分算出手段と、
この第１〜第Ｋの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第１〜第Ｋの閾値判定手段とを備え、
この第１〜第Ｋの閾値判定手段の少なくともいずれか１つにより差分が閾値以上と判定されることを第１の条件とし、この第１の条件が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする白線検出装置。
【請求項２】
白線のエッジか否かの判定対象である画素とこの画素から走査線方向にＬ（Ｌ＝２〜Ｋ＋１）〜Ｍ画素隣の画素との輝度の差分を算出する第Ｌ〜第Ｍの差分算出手段と、
この第Ｌ〜第Ｍの差分算出手段により算出された差分が予め設定された閾値以上か否かを判定する第Ｌ〜第Ｍの閾値判定手段とを備え、
この第Ｌ〜第Ｍの閾値判定手段の全てにより差分が閾値以上と判定されることを第２の条件とし、前記第１の条件と第２の条件との両方が満たされた場合に、判定対象である画素を白線のエッジとすることを特徴とする請求項１に記載の白線検出装置。
【請求項３】
予め設定された輝度変換曲線に基づいて画素の輝度を変換する輝度変換手段を備え、
この輝度変換手段により輝度を変換された画素に基づいて白線のエッジを検出することを特徴とする請求項１または請求項２に記載の白線検出装置。
【図１】
【図２】
【図３】
【図１３】
【図１６】
【図１９】
【図２０】
【図２４】
【図２６】
【図２７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図１８】
【図２１】
【図２２】
【図２３】
【図２５】
【図２８】
【図２９】
【図２】
【図３】
【図１３】
【図１６】
【図１９】
【図２０】
【図２４】
【図２６】
【図２７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図１８】
【図２１】
【図２２】
【図２３】
【図２５】
【図２８】
【図２９】
【公開番号】特開２０１２−１８５３１（Ｐ２０１２−１８５３１Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５５０４２（Ｐ２０１０−１５５０４２）
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]