エッジ点抽出装置、車線検出装置、およびプログラム
【課題】 低い処理負荷で車線を良好に検出できるエッジ点抽出装置、車線検出装置およびプログラムを提供する。
【解決手段】 画像処理ＥＣＵ３２は、カメラ３０から取得した路面画像から画素グループを選択する（Ｓ２）。次に、画素グループの各画素の色成分ごとに平均輝度値を算出する（Ｓ３）。平均輝度値が第１閾値以上の色成分があれば、その中で最大のものを除いて残りの色成分に基づき輝度値変換し（Ｓ４，Ｓ５）、平均輝度値が第２閾値以下の色成分があれば、その中で最小のものを除いて残りの色成分に基づき輝度値変換し（Ｓ６，Ｓ７），または全ての色成分を用いて輝度値変換する（Ｓ８）。Ｓ５，Ｓ７，Ｓ８で変換した輝度値パラメータからエッジ点を抽出し（Ｓ９）、エッジ点に基づきエッジ線の抽出を行い（Ｓ１１）、エッジ線から車線位置を算出する（Ｓ１２）。
【解決手段】 画像処理ＥＣＵ３２は、カメラ３０から取得した路面画像から画素グループを選択する（Ｓ２）。次に、画素グループの各画素の色成分ごとに平均輝度値を算出する（Ｓ３）。平均輝度値が第１閾値以上の色成分があれば、その中で最大のものを除いて残りの色成分に基づき輝度値変換し（Ｓ４，Ｓ５）、平均輝度値が第２閾値以下の色成分があれば、その中で最小のものを除いて残りの色成分に基づき輝度値変換し（Ｓ６，Ｓ７），または全ての色成分を用いて輝度値変換する（Ｓ８）。Ｓ５，Ｓ７，Ｓ８で変換した輝度値パラメータからエッジ点を抽出し（Ｓ９）、エッジ点に基づきエッジ線の抽出を行い（Ｓ１１）、エッジ線から車線位置を算出する（Ｓ１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方の路面を撮影した路面画像に基づいて車線を検出する車線検出装置に関する。
【背景技術】
【０００２】
従来、車両前方の路面を撮影した路面画像を画像処理して車線を検出する車線検出装置が提案されている。ここでいう車線とは、実線や破線からなる白線や有色線等のペイント、または車両の走行方向に沿って間欠的に配置される道路鋲などによって構成される線である。
【０００３】
車線検出装置としては、撮影した路面画像からペイントや道路鋲などによって輝度値が変化した点であるエッジ点を抽出し、抽出された複数のエッジ点に基づいて車線を検出するものがある。車線検出装置によって検出された車線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が車線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
【０００４】
ところで、ペイントの色や周囲の明るさによっては、路面画像において車線と道路とのコントラストの差が小さくなり、精度良くエッジ点が抽出されず、車線の認識が困難になる場合がある。
【０００５】
そこで、従来、撮影した路面の画像を三色のカラー信号として独立して取り込み、路面と車線とが最大のコントラストとなるカラー信号の組み合わせを得て、その組み合わせを用いて車線の認識処理を行う車載用画像処理カメラ装置が提案されている（特許文献１参照）。この装置は、例えば三色のカラー信号のうち、赤成分と緑成分から合成した黄色の画像を用いることで、黄線からなる車線の検出精度を向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術では、最適なカラー信号の組み合わせを見つけるために、複数のカラー信号の組み合わせそれぞれについて画像を合成し、コントラスト比が最大となるカラー信号の組み合わせを判定していた。このような処理を行うことによって装置の処理負荷が高くなるため、処理の遅延が発生しやすかったり、高性能の処理装置が必要となってコストアップに繋がりやすいという問題があった。
【０００８】
本発明の目的は、処理負荷の増加を抑制しエッジ点を良好に抽出できるエッジ点抽出装置、および車線検出装置を提供することである。
【課題を解決するための手段】
【０００９】
上述した問題を解決するためになされた請求項１に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、輝度値の平均値が最も高く、かつ当該平均値が所定値の閾値以上である色成分を選択する。ここでいう輝度値とは、各画素の色成分ごとに与えられる色の濃淡の階調を示すパラメータである。
【００１０】
そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、画素グループにおけるエッジ点を抽出する。具体的には、輝度値の変化が大きい、即ちコントラストが大きい領域をエッジ点と判断して抽出する。
【００１１】
このように構成されたエッジ点抽出装置においては、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分が除かれることとなり、それ以外の色成分を用いて精度良くエッジ点を抽出することができる。
【００１２】
またこのエッジ点抽出装置は、エッジ点の抽出精度の低下を招く可能性のある色成分を除くことができるため、特許文献１のように複数の色成分の組み合わせについてそれぞれコントラストを算出してコントラストが最大のものを求める処理を行う必要がなくなるため、処理負荷の増加を抑制できる。また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１３】
なお、上述した所定の閾値は、輝度値の上限値付近（例えば上限の８５％）に設定しておくとよい。
輝度値が上限に達してコントラストが低くなる理由について説明する。従来の装置では、ある色成分Ａにおいて輝度値が上限値に達すると、輝度値がそれ以上の値をとらなくなる（飽和する）ため、その色成分Ａにおいて輝度値の変化は小さくなる。その結果、色成分Ａを含む複数の色成分を用いて輝度値の変化を測定すると、色成分Ａの輝度値の変化が小さいことの影響を受けて全体としても輝度値の変化が小さくなってしまい、エッジ点の測定精度が低下してしまう。
【００１４】
請求項２に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、所定の閾値を超えた画素の数が所定数以上かつ最も多い色成分を選択する。そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、エッジ点を抽出する。
【００１５】
このように構成されたエッジ点抽出装置は、請求項１に記載のエッジ点抽出装置と同様に、精度良くエッジ点を抽出することができ、処理負荷の増加を抑制できる。また、エッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１６】
なお、上述した所定の閾値は、輝度値の上限値付近（例えば上限の９５％）に設定しておくとよい。
請求項３に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、輝度値の平均値が最も低く、かつ当該平均値が所定値の閾値以下である色成分を選択する。そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、画素グループにおけるエッジ点を抽出する。
【００１７】
このように構成されたエッジ点抽出装置においては、エッジ点を抽出する際に、輝度値が全体的に低く、コントラストを充分に示さなくなってしまった可能性の高い色成分が除かれることとなり、それ以外の高いコントラストを有する色成分を用いて精度良くエッジ点を抽出することができる。また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１８】
なお、所定の閾値は、輝度値の下限値付近に設定しておくとよい。
請求項４に記載のエッジ点抽出装置は、請求項１から請求項３のいずれか１項に記載のエッジ点抽出装置において、画素グループが、路面画像において、略水平方向かつ、車両前方の所定の領域を境界とした左側の範囲および右側の範囲のうちの少なくともいずれか一方に設定されることを特徴とする。
【００１９】
一般的なカメラシステムには、撮影画像の明るさに応じて露出を制御する機能がある。そして撮影画像の一部が暗く一部が明るい場合、いずれかを基準として露出を制御すると、明るくなりすぎる部分や暗くなりすぎる部分が発生する可能性がある。上記請求項４に記載のエッジ点抽出装置であれば、路面画像の左右を別々にしてエッジ点抽出のための輝度値を判断するため、例えば路面画像の右側は明るく左側は暗いといったように、左右全体を平均した輝度は普通であるが左右の一方は輝度が高く他方は輝度が低い場合にも、エッジ抽出に用いる色成分を左右それぞれで適切に選択できる。
【００２０】
なお、画素グループは、路面画像の左右のいずれか以外に設定される構成であってもよい。例えば、路面画像を左右方向に３箇所以上に分割し、その分割された領域のいずれかに画素グループが設定される構成であってもよい。
【００２１】
また、路面画像の複数の色成分は、請求項５に記載のように、赤，緑，青の三色（光の三原色）としてもよい。
請求項６に記載の車線検出装置は、請求項１から請求項５のいずれか１項に記載のエッジ点抽出装置を構成要素として含み、さらに、抽出されたエッジ点に基づいて、路面上の車線を検出する手段を備えることを特徴とする車線検出装置である。
【００２２】
エッジ点から車線を検出する具体的な手法は特に限定されないが、例えばハフ変換を用いて線分を決定し、その線分に基づいて車線を決定することが考えられる。
また、請求項７に記載のプログラムは、コンピュータシステムに、請求項６に記載の車線検出装置を構成する各手段としての機能を実現させるためのプログラムである。
【００２３】
このようなプログラムにより制御されるコンピュータシステムは、請求項６に記載の車線検出装置の一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、車線検出装置の備える記憶装置に予め記憶しておくことや、各種記録媒体や通信回線を介して車線検出装置やこれを利用するユーザに提供されるものである。
【図面の簡単な説明】
【００２４】
【図１】実施例の車線逸脱警報システムの構成を示すブロック図である。
【図２】画像処理ＥＣＵによる逸脱警報処理の処理手順を示すフローチャートである。
【図３】撮影された路面画像の一例を示す図である。
【図４】３色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ａ）と、２色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ｂ）である。
【図５】撮影された路面画像の一例を示す図である。
【図６】輝度値グラフの一部を拡大した拡大図（Ａ），（Ｂ）である。
【図７】３色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ａ）と、２色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ｂ）である。
【発明を実施するための形態】
【００２５】
以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）車線逸脱警報システムの構成
車線逸脱警報システム１は、自動車等の車両に搭載されて用いられるシステムであって、図１に示すように、ＣＡＮによる車内ネットワーク１０と、画像センサ１２と、ブザー１４と、を有している。
【００２６】
車内ネットワーク１０は、車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ２０と、車両の走行速度（車速）を検出する車速センサ２２と、を有している。
【００２７】
画像センサ１２は、カメラ３０と、カメラ３０が撮影した画像を処理し、ブザー１４にブザー要求の制御信号を出力する画像処理ＥＣＵ３２と、を備える。また画像処理ＥＣＵ３２は、撮影画像の明るさに応じてカメラ３０の露出制御を行う。なお、この画像処理ＥＣＵ３２が本発明におけるエッジ点抽出装置および車線検出装置に相当する。
【００２８】
カメラ３０は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔（本実施例では１／１５ｓ）で撮影して、その撮影された路面画像のデータ（以降、当該データを路面画像という場合がある）を画像処理ＥＣＵ３２に出力するものである。
【００２９】
本実施例のカメラ３０は、路面画像を光の三原色Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の組み合わせで撮影するように構成されており、路面画像の各画素はＲ，Ｇ，Ｂの各色についてそれぞれ２５６段階の階調を組み合わせることで色や明るさを表現している。よって、路面画像は各色成分を個別に抽出することができる。なおカメラ３０としては、例えば公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサを用いることができる。
【００３０】
画像処理ＥＣＵ３２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，入出力インターフェース，およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
【００３１】
画像処理ＥＣＵ３２は、ＲＯＭから読み込んだアプリケーションプログラムやＲＡＭに格納された各種データに従って、後述する逸脱警報処理などを実行する。また、逸脱警報処理においては、カメラ３０から路面画像を受信する毎に、ＲＡＭにそのデータを格納し、そのデータに基づいて車線の検出を実行する。
【００３２】
また画像処理ＥＣＵ３２は車内ネットワーク１０と接続しており、ヨーセンサ２０，および車速センサ２２と通信して各センサの出力値を取得する。
また画像処理ＥＣＵ３２はブザー１４と接続しており、後述する逸脱警報処理において警報を行うべきと判断された際に、ブザー１４にブザー要求の制御信号を出力する。
【００３３】
ブザー１４は、画像処理ＥＣＵ３２より上記制御信号を受信すると、車両内部に警報音を発報させる。
（２）画像処理ＥＣＵ３２による処理
以下に、画像処理ＥＣＵ３２により実行される逸脱警報処理の処理手順を、図２に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ１２に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
【００３４】
この逸脱警報処理では、まず、路面画像のデータをカメラ３０から取得する（Ｓ１）。
次に、路面画像面上における一列の画素の集合である検査ラインを設定し、その設定された検査ラインにおける画素グループを選択する（Ｓ２）。図３に、撮影された路面画像４０の一例を示す。検査ライン４２は、車両の進行方向（図中、矢印４４の方向）と交差する方向かつ水平方向に対応する路面画像４０面上の方向（路面画像４０における左右方向）に、路面画像４０の上下に並ぶように複数設定されている。
【００３５】
また、路面画像４０には上下方向に基準線４６が設定されている。この基準線４６は、車両が直進した場合に車両の中心が通過する位置に対応する線である。この基準線４６を基準として、路面画像４０において車両前方の左側と右側の領域が分けられる。そして、検査ライン４２における基準線４６の左側と右側のそれぞれが、画素グループ４２Ｌ，４２Ｒとなる。
【００３６】
なお、図３においては、路面画像４０に、１つの検査ライン４２の各画素に対応する色成分Ｒの輝度値を示すグラフ４８Ｒ，色成分Ｇの輝度値を示すグラフ４８Ｇ，色成分Ｂの輝度値を示すグラフ４８Ｂを重畳して記載している。
【００３７】
本逸脱警報処理では、路面画像４０に設定された多数の検査ライン４２の画素グループ４２Ｒ，４２Ｌそれぞれについて、例えば路面と車線との境界点のように画素の輝度値が大きく変化する点、つまりコントラストの大きい点をエッジ点として抽出する。
【００３８】
検査ライン４２は、上述したように路面画像４０において上下に並ぶように複数設定されているので、それら検査ライン４２に対応する多数の画素グループからエッジ点を検出することで、路面画像４０の広い範囲からエッジ点を抽出し、その抽出されたエッジ点に基づいて車線の位置を検出する。なお図３においては、上下に並ぶ多数の検査ライン４２（画素グループ４２Ｌ，４２Ｒ）の一部のみを示している。
【００３９】
それぞれの画素グループに対するエッジ点を抽出する処理を後述するＳ３〜Ｓ９にて行う。Ｓ２では、路面画像４０における画素グループのいずれか１つであって、当該路面画像４０において未だ選択されていない（Ｓ３〜Ｓ９の処理が行われていない）画素グループを、エッジ点を抽出する処理対象として選択する。
【００４０】
次に、Ｓ２にて設定した画素グループに関して、色成分ごとに平均輝度値を算出する（Ｓ３）。ここでは、画素グループの全ての画素を対象として、各画素の輝度値の平均値を、Ｒ，Ｇ，Ｂそれぞれの色成分ごとに算出する。
【００４１】
次に、Ｓ３にて算出した平均輝度値が所定の第１閾値以上である色成分があるか否かを判断する（Ｓ４）。平均輝度値が第１閾値以上の色成分があれば（Ｓ４：ＹＥＳ）、さらにその中で平均輝度値が最大の色成分を除いた残りの色成分に基づく輝度値変換を行う（Ｓ５）。例えば、Ｒ，Ｇ，Ｂの色成分のうち、Ｒの平均輝度値のみが第１閾値以上であった場合には、画素グループの画素ごとにＧ，Ｂの色成分の輝度値の平均値を算出した輝度値データを取得する。
【００４２】
なお以下の記載において、輝度値変換とは、上述したように、画素グループにおいて画素ごとに各色成分の輝度値の平均値を算出してなるデータである輝度値データを取得する処理を指すものとする。
【００４３】
このＳ４，Ｓ５の処理について説明する。なお以下の説明では、画素グループ４２Ｌ，４２Ｒを同時に処理した図を用いて説明する。図３に示す検査ライン４２において、基準線４６よりも左側の領域の一部は道路脇に植えられた植物およびその影の部分にあたるため、グラフ４８Ｒ，４８Ｇ，４８Ｂはいずれも低い輝度値となっている。
【００４４】
一方、基準線４６よりも右側の領域は、基準線４６よりも左側の影の部分に応じてカメラ３０の露出が調整されたことにより、全般に高い輝度値を示している。そして、Ｇのグラフ４８Ｇが他の色のグラフよりも高い輝度値を示しており、広い範囲で飽和（階調の最大値に到達）している。
【００４５】
そのため、基準線４６より右側の画素グループ４２Ｒにおける、路面の白線を示す領域５０に対応するグラフの領域５２において、グラフ４８Ｇは輝度値の変化が生じていない。
【００４６】
輝度値変換を行った後の輝度値のグラフを図４（Ａ），（Ｂ）に示す。Ｒ，Ｇ，Ｂの３つの色成分に基づいて輝度値変換すると、図４（Ａ）に示すように、変化のないグラフ４８Ｇの影響を受けて領域５２のコントラストが小さくなる。一方、Ｇの色成分を除き、Ｒ，Ｂの２つの色成分に基づいて輝度値変換すると、図４（Ｂ）に示すように、図４（Ａ）と比べて領域５２のコントラストが大きくなる。
【００４７】
このように、Ｓ４，Ｓ５の処理を行うことによって、路面画像４０の画素グループ４２Ｌ，４２Ｒから大きなコントラストを示す輝度値データを取得することができる。
上記Ｓ４において、平均輝度値が第１閾値以上の色成分がなければ（Ｓ４：ＮＯ）、処理がＳ６に移行する。
【００４８】
続いて、Ｓ３にて算出した平均輝度値が所定の第２閾値以下の色成分があるか否かを判断する（Ｓ６）。平均輝度値が第２閾値以下の色成分があれば（Ｓ６：ＹＥＳ）、さらにその中で平均輝度値が最小の色成分を除いた残りの色成分に基づく輝度値変換を行う（Ｓ７）。
【００４９】
このＳ６，Ｓ７の処理について説明する。図５に、図３とは異なる運転状況で撮影した路面画像４０を示す。なお、図３と同じ対象については、図３と同じ符号を用いている。図５は夜間走行中の路面画像４０を示しており、左側の画素グループ４２Ｌにおける白線を示す領域５４に対応するグラフの領域５６，および，右側の画素グループ４２Ｒにおける白線を示す領域５８に対応するグラフの領域６０において、グラフ４８Ｒ，４８Ｇはいずれも高いコントラストを示している。
【００５０】
領域５６を拡大した図を図６（Ａ）に示す。また、領域６０を拡大した図を図６（Ｂ）に示す。図６（Ａ），（Ｂ）においては、いずれもグラフ４８Ｂが低い輝度値を示している。
【００５１】
これは、路面の白線が車両のヘッドライトの光を受けた結果、路面画像においてＲの色成分が強く表れるようになり、また、Ｇの色成分はもともと強めに表れることから、相対的にＢの色成分の輝度値が低くなるためである。
【００５２】
図５に示すグラフ４８Ｒ，４８Ｇ，４８Ｂを輝度値変換したときの右側の輝度値のグラフを図７（Ａ），（Ｂ）に示す。Ｒ，Ｇ，Ｂの３つの色成分に基づいて輝度値変換すると、図７（Ａ）に示すように、グラフ４８Ｂの影響を受けて、領域５６，６０のコントラストが小さくなる。一方、Ｂを除き、Ｒ，Ｇの２つの色成分に基づいて輝度値変換すると、図７（Ｂ）に示すように、図７（Ａ）と比べて領域５６，６０のコントラストが大きくなる。
【００５３】
このように、Ｓ６，Ｓ７の処理を行うことによって、路面画像４０の画素グループ４２Ｌ，４２Ｒから大きなコントラストを示す輝度値グラフを抽出することができる。
上記Ｓ６において、平均輝度値が所定値以上の色成分がなければ（Ｓ６：ＮＯ）、処理がＳ８に移行する。Ｓ８に移行した場合、３つの色成分はいずれも第１閾値以上とならず、かつ第２閾値以下とならなかったので、いずれも色成分も除外せず、３色の色成分全てを用いて輝度値変換を行う（Ｓ８）。
【００５４】
次に、Ｓ５，Ｓ７，およびＳ８で輝度値変換した輝度値データを微分して、微分値が極大，極小になる点をエッジ点として抽出する（Ｓ９）。抽出したエッジ点は、Ｓ２にて設定された画素グループに対応付けてＲＡＭに記憶される。
【００５５】
そして、全ての画素グループに対してエッジ点を抽出するまでの処理（Ｓ３〜Ｓ９）が終了したか否かを判定し（Ｓ１０）、終了していなければ（Ｓ１０：ＮＯ）、処理がＳ２に戻る。終了していれば（Ｓ１０：ＹＥＳ）、処理がＳ１１に移行する。
【００５６】
続いて、エッジ線の抽出を行う（Ｓ１１）。ここでは、Ｓ９にて抽出され、ＲＡＭに記憶された全てのエッジ点、即ちＳ１にて取得された路面画像４０に基づく全てのエッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。
【００５７】
次に、車線位置の算出を行う（Ｓ１２）。ここでは、Ｓ１１にて抽出したエッジ線を含む、直近に撮影された所定数の路面画像（例えば直近の３コマ分の路面画像）から抽出したエッジ線に基づいて、車線の位置を算出する。なお、路面画像を複数用いる目的は複数の時刻において検出されたエッジ線を用いることで車線の検出精度を高める目的であるため、処理負荷を低減するために１コマ分の路面画像から車線の位置を算出しても良い。
【００５８】
また、算出した車線の位置に基づき車両から車線までの距離を算出する。
次に、車線の逸脱判定を行う（Ｓ１３）。ここでは、まず、ヨーセンサ２０から取得したヨーレートおよび車速センサ２２から取得した車両速度に基づいて、車両の走行軌跡を予測する。続いて、Ｓ１２にて算出した車線の位置、車両から車線までの距離、および予測した走行軌跡に基づいて、車両が車線を逸脱するまでに要する時間を算出する。
【００５９】
そして、算出した車線を逸脱するまでの時間が所定の閾値（本実施例では１秒）以上であれば、逸脱しないと判定し（Ｓ１３：ＮＯ）、処理がＳ１に戻る。一方、閾値未満であれば、逸脱の危険ありと判定し（Ｓ１３：ＹＥＳ）、ブザー１４に対してブザー要求の制御信号を出力する（Ｓ１４）。その後、処理がＳ１に戻る。
【００６０】
（３）発明の効果
本実施例の車線逸脱警報システム１であれば、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分と、輝度値が全体的に低く、コントラストを充分に示さなくなってしまった可能性の高い色成分が除かれることとなり、それ以外の高いコントラストを有する色成分を用いて精度良くエッジ点を抽出することができる。
【００６１】
また本実施例の車線逸脱警報システム１であれば、色成分を組み合わせて輝度値変換する際に、エッジ点の抽出精度の低下を招く可能性のある色成分を除いて輝度値変換することができる。そのため、色成分を適宜組み合わせて輝度値変換し、コントラストが最大となった組み合わせを採用する、といった処理を行う必要がなくなるため、処理負荷の増加を抑制できる。
【００６２】
また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
（４）対応関係
画像処理ＥＣＵ３２により実行されるＳ１の処理が、本発明の画像取得手段による処理に相当し、Ｓ２，Ｓ３，Ｓ４，および，Ｓ５において色成分を選択する処理が高輝度成分選択手段による処理に相当し、Ｓ２，Ｓ３，Ｓ６，および，Ｓ７において色成分を選択する処理が低輝度成分選択手段による処理に相当し、Ｓ６，７にて輝度値変換する処理およびＳ９の処理がエッジ抽出手段による処理に相当し、Ｓ１１，Ｓ１２の処理が車線検出手段による処理に相当する。
【００６３】
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００６４】
例えば、上記実施例においては、検査ライン４２を１つの基準線４６で分割して２つの画素グループ４２Ｌ，４２Ｒを配する構成を例示したが、基準線を２つ以上設定し、１つの検査ライン上に３つ以上の画素グループが配されるように構成してもよい。また、基準線を設けず、１つの検査ライン上に１つの画素グループが配されるように構成してもよい。
【００６５】
また、上記実施例においては、画素グループにおける各色成分の平均輝度値に基づいてエッジ線を抽出する際に除外される色成分を決定する構成を例示したが、所定の条件を満たした場合に除外される色成分が予め決まっている構成であってもよい。
【００６６】
例えば、昼間などの路面画像の輝度が高い状態でＧ（緑）の色成分が飽和しやすいカメラシステムを用いる場合において、画素グループにおいてＲ（赤），Ｇ，Ｂ（青）を合せた平均輝度値が所定の閾値以上となった場合に、Ｇの色成分を除外する構成とすることが考えられる。このように、予め飽和しやすい色成分が判明している場合は、それ以外の色成分について個別に輝度値の平均値などを算出する必要がなくなり、処理負荷を低減させることができる。
【００６７】
同様に、車両のヘッドライトに照らされた際に、他の色成分よりも輝度値が上がり難い色成分が除外されるように構成してもよい。例えば、路面画像におけるヘッドライトにより照らされた領域において、Ｂの色成分の輝度値が高くなる特性を有するヘッドライトを用いている場合、ＲおよびＧのいずれか一方の色成分を除外することが考えられる。つまり、ヘッドライトの特性と、カメラシステムの特性から予め輝度値が相対的に低くなる色成分が判明している場合には、その色成分を除外するように構成することで、処理負荷を増加させずにエッジ点の抽出精度を高めることができる。
【００６８】
なおその場合には、輝度値が上がり難い色成分の平均輝度値が所定の閾値を下回った場合や、３つの色成分の平均輝度値が所定の閾値を下回った場合に該当する色成分を除外するように構成しても良いし、車両に設けられた照度センサや時計により夜間であることを判定した場合、またはヘッドライトを照射している場合に、該当する色成分を除外するように構成しても良い。
【００６９】
また、上記実施例においては、各色成分の平均輝度値に基づいて除外する色成分を決定する構成を例示したが、図２のＳ３の処理に替えて、画素グループにおいて輝度値が所定値の閾値を超えた画素の数をカウントし、Ｓ４に替えて、その数が所定の閾値以上の色成分があるか否かを判断し、そのような色成分が存在する場合には、Ｓ５に替えて、輝度値が所定値の閾値を超えた画素の数が最も多い色成分を除外して輝度値変換するように構成してもよい。このとき、Ｓ６，７の処理は行わない。
【００７０】
このように構成することで、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分が除かれることとなり、高いコントラストを維持して精度良くエッジ点を抽出することができる。この場合には、Ｓ２，Ｓ３と、Ｓ４に替える処理、およびＳ５に替える処理において色成分を選択する処理が飽和成分選択手段による処理に相当する。
【００７１】
また上記実施例においては、カメラ３０がＲ，Ｇ，Ｂの三原色から構成される路面画像を撮影し、それらの色成分を組み合わせてなるカラー情報を用いる構成を例示したが、三原色ＲＧＢと等価変換できる輝度信号と色差信号の組み合わせで表現された信号形式を用いてもよい。
【符号の説明】
【００７２】
１…車線逸脱警報システム、１０…車内ネットワーク、１２…画像センサ、１４…ブザー、２０…ヨーセンサ、２２…車速センサ、３０…カメラ、４０…路面画像、４２…検査ライン、４２Ｌ，４２Ｒ…画素グループ、４４…矢印、４６…基準線、４８Ｒ，４８Ｂ，４８Ｇ…グラフ、５０，５２，５４，５６，５８，６０…領域
【技術分野】
【０００１】
本発明は、車両前方の路面を撮影した路面画像に基づいて車線を検出する車線検出装置に関する。
【背景技術】
【０００２】
従来、車両前方の路面を撮影した路面画像を画像処理して車線を検出する車線検出装置が提案されている。ここでいう車線とは、実線や破線からなる白線や有色線等のペイント、または車両の走行方向に沿って間欠的に配置される道路鋲などによって構成される線である。
【０００３】
車線検出装置としては、撮影した路面画像からペイントや道路鋲などによって輝度値が変化した点であるエッジ点を抽出し、抽出された複数のエッジ点に基づいて車線を検出するものがある。車線検出装置によって検出された車線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が車線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
【０００４】
ところで、ペイントの色や周囲の明るさによっては、路面画像において車線と道路とのコントラストの差が小さくなり、精度良くエッジ点が抽出されず、車線の認識が困難になる場合がある。
【０００５】
そこで、従来、撮影した路面の画像を三色のカラー信号として独立して取り込み、路面と車線とが最大のコントラストとなるカラー信号の組み合わせを得て、その組み合わせを用いて車線の認識処理を行う車載用画像処理カメラ装置が提案されている（特許文献１参照）。この装置は、例えば三色のカラー信号のうち、赤成分と緑成分から合成した黄色の画像を用いることで、黄線からなる車線の検出精度を向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３２６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術では、最適なカラー信号の組み合わせを見つけるために、複数のカラー信号の組み合わせそれぞれについて画像を合成し、コントラスト比が最大となるカラー信号の組み合わせを判定していた。このような処理を行うことによって装置の処理負荷が高くなるため、処理の遅延が発生しやすかったり、高性能の処理装置が必要となってコストアップに繋がりやすいという問題があった。
【０００８】
本発明の目的は、処理負荷の増加を抑制しエッジ点を良好に抽出できるエッジ点抽出装置、および車線検出装置を提供することである。
【課題を解決するための手段】
【０００９】
上述した問題を解決するためになされた請求項１に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、輝度値の平均値が最も高く、かつ当該平均値が所定値の閾値以上である色成分を選択する。ここでいう輝度値とは、各画素の色成分ごとに与えられる色の濃淡の階調を示すパラメータである。
【００１０】
そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、画素グループにおけるエッジ点を抽出する。具体的には、輝度値の変化が大きい、即ちコントラストが大きい領域をエッジ点と判断して抽出する。
【００１１】
このように構成されたエッジ点抽出装置においては、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分が除かれることとなり、それ以外の色成分を用いて精度良くエッジ点を抽出することができる。
【００１２】
またこのエッジ点抽出装置は、エッジ点の抽出精度の低下を招く可能性のある色成分を除くことができるため、特許文献１のように複数の色成分の組み合わせについてそれぞれコントラストを算出してコントラストが最大のものを求める処理を行う必要がなくなるため、処理負荷の増加を抑制できる。また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１３】
なお、上述した所定の閾値は、輝度値の上限値付近（例えば上限の８５％）に設定しておくとよい。
輝度値が上限に達してコントラストが低くなる理由について説明する。従来の装置では、ある色成分Ａにおいて輝度値が上限値に達すると、輝度値がそれ以上の値をとらなくなる（飽和する）ため、その色成分Ａにおいて輝度値の変化は小さくなる。その結果、色成分Ａを含む複数の色成分を用いて輝度値の変化を測定すると、色成分Ａの輝度値の変化が小さいことの影響を受けて全体としても輝度値の変化が小さくなってしまい、エッジ点の測定精度が低下してしまう。
【００１４】
請求項２に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、所定の閾値を超えた画素の数が所定数以上かつ最も多い色成分を選択する。そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、エッジ点を抽出する。
【００１５】
このように構成されたエッジ点抽出装置は、請求項１に記載のエッジ点抽出装置と同様に、精度良くエッジ点を抽出することができ、処理負荷の増加を抑制できる。また、エッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１６】
なお、上述した所定の閾値は、輝度値の上限値付近（例えば上限の９５％）に設定しておくとよい。
請求項３に記載のエッジ点抽出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得して、その路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、路面画像から抽出可能な複数の色成分のうち、輝度値の平均値が最も低く、かつ当該平均値が所定値の閾値以下である色成分を選択する。そして、複数の色成分のうち、選択された色成分を除く色成分を用いて、画素グループにおけるエッジ点を抽出する。
【００１７】
このように構成されたエッジ点抽出装置においては、エッジ点を抽出する際に、輝度値が全体的に低く、コントラストを充分に示さなくなってしまった可能性の高い色成分が除かれることとなり、それ以外の高いコントラストを有する色成分を用いて精度良くエッジ点を抽出することができる。また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
【００１８】
なお、所定の閾値は、輝度値の下限値付近に設定しておくとよい。
請求項４に記載のエッジ点抽出装置は、請求項１から請求項３のいずれか１項に記載のエッジ点抽出装置において、画素グループが、路面画像において、略水平方向かつ、車両前方の所定の領域を境界とした左側の範囲および右側の範囲のうちの少なくともいずれか一方に設定されることを特徴とする。
【００１９】
一般的なカメラシステムには、撮影画像の明るさに応じて露出を制御する機能がある。そして撮影画像の一部が暗く一部が明るい場合、いずれかを基準として露出を制御すると、明るくなりすぎる部分や暗くなりすぎる部分が発生する可能性がある。上記請求項４に記載のエッジ点抽出装置であれば、路面画像の左右を別々にしてエッジ点抽出のための輝度値を判断するため、例えば路面画像の右側は明るく左側は暗いといったように、左右全体を平均した輝度は普通であるが左右の一方は輝度が高く他方は輝度が低い場合にも、エッジ抽出に用いる色成分を左右それぞれで適切に選択できる。
【００２０】
なお、画素グループは、路面画像の左右のいずれか以外に設定される構成であってもよい。例えば、路面画像を左右方向に３箇所以上に分割し、その分割された領域のいずれかに画素グループが設定される構成であってもよい。
【００２１】
また、路面画像の複数の色成分は、請求項５に記載のように、赤，緑，青の三色（光の三原色）としてもよい。
請求項６に記載の車線検出装置は、請求項１から請求項５のいずれか１項に記載のエッジ点抽出装置を構成要素として含み、さらに、抽出されたエッジ点に基づいて、路面上の車線を検出する手段を備えることを特徴とする車線検出装置である。
【００２２】
エッジ点から車線を検出する具体的な手法は特に限定されないが、例えばハフ変換を用いて線分を決定し、その線分に基づいて車線を決定することが考えられる。
また、請求項７に記載のプログラムは、コンピュータシステムに、請求項６に記載の車線検出装置を構成する各手段としての機能を実現させるためのプログラムである。
【００２３】
このようなプログラムにより制御されるコンピュータシステムは、請求項６に記載の車線検出装置の一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、車線検出装置の備える記憶装置に予め記憶しておくことや、各種記録媒体や通信回線を介して車線検出装置やこれを利用するユーザに提供されるものである。
【図面の簡単な説明】
【００２４】
【図１】実施例の車線逸脱警報システムの構成を示すブロック図である。
【図２】画像処理ＥＣＵによる逸脱警報処理の処理手順を示すフローチャートである。
【図３】撮影された路面画像の一例を示す図である。
【図４】３色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ａ）と、２色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ｂ）である。
【図５】撮影された路面画像の一例を示す図である。
【図６】輝度値グラフの一部を拡大した拡大図（Ａ），（Ｂ）である。
【図７】３色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ａ）と、２色の色成分に基づき輝度値変換した輝度値グラフを示す図（Ｂ）である。
【発明を実施するための形態】
【００２５】
以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）車線逸脱警報システムの構成
車線逸脱警報システム１は、自動車等の車両に搭載されて用いられるシステムであって、図１に示すように、ＣＡＮによる車内ネットワーク１０と、画像センサ１２と、ブザー１４と、を有している。
【００２６】
車内ネットワーク１０は、車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ２０と、車両の走行速度（車速）を検出する車速センサ２２と、を有している。
【００２７】
画像センサ１２は、カメラ３０と、カメラ３０が撮影した画像を処理し、ブザー１４にブザー要求の制御信号を出力する画像処理ＥＣＵ３２と、を備える。また画像処理ＥＣＵ３２は、撮影画像の明るさに応じてカメラ３０の露出制御を行う。なお、この画像処理ＥＣＵ３２が本発明におけるエッジ点抽出装置および車線検出装置に相当する。
【００２８】
カメラ３０は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔（本実施例では１／１５ｓ）で撮影して、その撮影された路面画像のデータ（以降、当該データを路面画像という場合がある）を画像処理ＥＣＵ３２に出力するものである。
【００２９】
本実施例のカメラ３０は、路面画像を光の三原色Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の組み合わせで撮影するように構成されており、路面画像の各画素はＲ，Ｇ，Ｂの各色についてそれぞれ２５６段階の階調を組み合わせることで色や明るさを表現している。よって、路面画像は各色成分を個別に抽出することができる。なおカメラ３０としては、例えば公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサを用いることができる。
【００３０】
画像処理ＥＣＵ３２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，入出力インターフェース，およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
【００３１】
画像処理ＥＣＵ３２は、ＲＯＭから読み込んだアプリケーションプログラムやＲＡＭに格納された各種データに従って、後述する逸脱警報処理などを実行する。また、逸脱警報処理においては、カメラ３０から路面画像を受信する毎に、ＲＡＭにそのデータを格納し、そのデータに基づいて車線の検出を実行する。
【００３２】
また画像処理ＥＣＵ３２は車内ネットワーク１０と接続しており、ヨーセンサ２０，および車速センサ２２と通信して各センサの出力値を取得する。
また画像処理ＥＣＵ３２はブザー１４と接続しており、後述する逸脱警報処理において警報を行うべきと判断された際に、ブザー１４にブザー要求の制御信号を出力する。
【００３３】
ブザー１４は、画像処理ＥＣＵ３２より上記制御信号を受信すると、車両内部に警報音を発報させる。
（２）画像処理ＥＣＵ３２による処理
以下に、画像処理ＥＣＵ３２により実行される逸脱警報処理の処理手順を、図２に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ１２に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
【００３４】
この逸脱警報処理では、まず、路面画像のデータをカメラ３０から取得する（Ｓ１）。
次に、路面画像面上における一列の画素の集合である検査ラインを設定し、その設定された検査ラインにおける画素グループを選択する（Ｓ２）。図３に、撮影された路面画像４０の一例を示す。検査ライン４２は、車両の進行方向（図中、矢印４４の方向）と交差する方向かつ水平方向に対応する路面画像４０面上の方向（路面画像４０における左右方向）に、路面画像４０の上下に並ぶように複数設定されている。
【００３５】
また、路面画像４０には上下方向に基準線４６が設定されている。この基準線４６は、車両が直進した場合に車両の中心が通過する位置に対応する線である。この基準線４６を基準として、路面画像４０において車両前方の左側と右側の領域が分けられる。そして、検査ライン４２における基準線４６の左側と右側のそれぞれが、画素グループ４２Ｌ，４２Ｒとなる。
【００３６】
なお、図３においては、路面画像４０に、１つの検査ライン４２の各画素に対応する色成分Ｒの輝度値を示すグラフ４８Ｒ，色成分Ｇの輝度値を示すグラフ４８Ｇ，色成分Ｂの輝度値を示すグラフ４８Ｂを重畳して記載している。
【００３７】
本逸脱警報処理では、路面画像４０に設定された多数の検査ライン４２の画素グループ４２Ｒ，４２Ｌそれぞれについて、例えば路面と車線との境界点のように画素の輝度値が大きく変化する点、つまりコントラストの大きい点をエッジ点として抽出する。
【００３８】
検査ライン４２は、上述したように路面画像４０において上下に並ぶように複数設定されているので、それら検査ライン４２に対応する多数の画素グループからエッジ点を検出することで、路面画像４０の広い範囲からエッジ点を抽出し、その抽出されたエッジ点に基づいて車線の位置を検出する。なお図３においては、上下に並ぶ多数の検査ライン４２（画素グループ４２Ｌ，４２Ｒ）の一部のみを示している。
【００３９】
それぞれの画素グループに対するエッジ点を抽出する処理を後述するＳ３〜Ｓ９にて行う。Ｓ２では、路面画像４０における画素グループのいずれか１つであって、当該路面画像４０において未だ選択されていない（Ｓ３〜Ｓ９の処理が行われていない）画素グループを、エッジ点を抽出する処理対象として選択する。
【００４０】
次に、Ｓ２にて設定した画素グループに関して、色成分ごとに平均輝度値を算出する（Ｓ３）。ここでは、画素グループの全ての画素を対象として、各画素の輝度値の平均値を、Ｒ，Ｇ，Ｂそれぞれの色成分ごとに算出する。
【００４１】
次に、Ｓ３にて算出した平均輝度値が所定の第１閾値以上である色成分があるか否かを判断する（Ｓ４）。平均輝度値が第１閾値以上の色成分があれば（Ｓ４：ＹＥＳ）、さらにその中で平均輝度値が最大の色成分を除いた残りの色成分に基づく輝度値変換を行う（Ｓ５）。例えば、Ｒ，Ｇ，Ｂの色成分のうち、Ｒの平均輝度値のみが第１閾値以上であった場合には、画素グループの画素ごとにＧ，Ｂの色成分の輝度値の平均値を算出した輝度値データを取得する。
【００４２】
なお以下の記載において、輝度値変換とは、上述したように、画素グループにおいて画素ごとに各色成分の輝度値の平均値を算出してなるデータである輝度値データを取得する処理を指すものとする。
【００４３】
このＳ４，Ｓ５の処理について説明する。なお以下の説明では、画素グループ４２Ｌ，４２Ｒを同時に処理した図を用いて説明する。図３に示す検査ライン４２において、基準線４６よりも左側の領域の一部は道路脇に植えられた植物およびその影の部分にあたるため、グラフ４８Ｒ，４８Ｇ，４８Ｂはいずれも低い輝度値となっている。
【００４４】
一方、基準線４６よりも右側の領域は、基準線４６よりも左側の影の部分に応じてカメラ３０の露出が調整されたことにより、全般に高い輝度値を示している。そして、Ｇのグラフ４８Ｇが他の色のグラフよりも高い輝度値を示しており、広い範囲で飽和（階調の最大値に到達）している。
【００４５】
そのため、基準線４６より右側の画素グループ４２Ｒにおける、路面の白線を示す領域５０に対応するグラフの領域５２において、グラフ４８Ｇは輝度値の変化が生じていない。
【００４６】
輝度値変換を行った後の輝度値のグラフを図４（Ａ），（Ｂ）に示す。Ｒ，Ｇ，Ｂの３つの色成分に基づいて輝度値変換すると、図４（Ａ）に示すように、変化のないグラフ４８Ｇの影響を受けて領域５２のコントラストが小さくなる。一方、Ｇの色成分を除き、Ｒ，Ｂの２つの色成分に基づいて輝度値変換すると、図４（Ｂ）に示すように、図４（Ａ）と比べて領域５２のコントラストが大きくなる。
【００４７】
このように、Ｓ４，Ｓ５の処理を行うことによって、路面画像４０の画素グループ４２Ｌ，４２Ｒから大きなコントラストを示す輝度値データを取得することができる。
上記Ｓ４において、平均輝度値が第１閾値以上の色成分がなければ（Ｓ４：ＮＯ）、処理がＳ６に移行する。
【００４８】
続いて、Ｓ３にて算出した平均輝度値が所定の第２閾値以下の色成分があるか否かを判断する（Ｓ６）。平均輝度値が第２閾値以下の色成分があれば（Ｓ６：ＹＥＳ）、さらにその中で平均輝度値が最小の色成分を除いた残りの色成分に基づく輝度値変換を行う（Ｓ７）。
【００４９】
このＳ６，Ｓ７の処理について説明する。図５に、図３とは異なる運転状況で撮影した路面画像４０を示す。なお、図３と同じ対象については、図３と同じ符号を用いている。図５は夜間走行中の路面画像４０を示しており、左側の画素グループ４２Ｌにおける白線を示す領域５４に対応するグラフの領域５６，および，右側の画素グループ４２Ｒにおける白線を示す領域５８に対応するグラフの領域６０において、グラフ４８Ｒ，４８Ｇはいずれも高いコントラストを示している。
【００５０】
領域５６を拡大した図を図６（Ａ）に示す。また、領域６０を拡大した図を図６（Ｂ）に示す。図６（Ａ），（Ｂ）においては、いずれもグラフ４８Ｂが低い輝度値を示している。
【００５１】
これは、路面の白線が車両のヘッドライトの光を受けた結果、路面画像においてＲの色成分が強く表れるようになり、また、Ｇの色成分はもともと強めに表れることから、相対的にＢの色成分の輝度値が低くなるためである。
【００５２】
図５に示すグラフ４８Ｒ，４８Ｇ，４８Ｂを輝度値変換したときの右側の輝度値のグラフを図７（Ａ），（Ｂ）に示す。Ｒ，Ｇ，Ｂの３つの色成分に基づいて輝度値変換すると、図７（Ａ）に示すように、グラフ４８Ｂの影響を受けて、領域５６，６０のコントラストが小さくなる。一方、Ｂを除き、Ｒ，Ｇの２つの色成分に基づいて輝度値変換すると、図７（Ｂ）に示すように、図７（Ａ）と比べて領域５６，６０のコントラストが大きくなる。
【００５３】
このように、Ｓ６，Ｓ７の処理を行うことによって、路面画像４０の画素グループ４２Ｌ，４２Ｒから大きなコントラストを示す輝度値グラフを抽出することができる。
上記Ｓ６において、平均輝度値が所定値以上の色成分がなければ（Ｓ６：ＮＯ）、処理がＳ８に移行する。Ｓ８に移行した場合、３つの色成分はいずれも第１閾値以上とならず、かつ第２閾値以下とならなかったので、いずれも色成分も除外せず、３色の色成分全てを用いて輝度値変換を行う（Ｓ８）。
【００５４】
次に、Ｓ５，Ｓ７，およびＳ８で輝度値変換した輝度値データを微分して、微分値が極大，極小になる点をエッジ点として抽出する（Ｓ９）。抽出したエッジ点は、Ｓ２にて設定された画素グループに対応付けてＲＡＭに記憶される。
【００５５】
そして、全ての画素グループに対してエッジ点を抽出するまでの処理（Ｓ３〜Ｓ９）が終了したか否かを判定し（Ｓ１０）、終了していなければ（Ｓ１０：ＮＯ）、処理がＳ２に戻る。終了していれば（Ｓ１０：ＹＥＳ）、処理がＳ１１に移行する。
【００５６】
続いて、エッジ線の抽出を行う（Ｓ１１）。ここでは、Ｓ９にて抽出され、ＲＡＭに記憶された全てのエッジ点、即ちＳ１にて取得された路面画像４０に基づく全てのエッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。
【００５７】
次に、車線位置の算出を行う（Ｓ１２）。ここでは、Ｓ１１にて抽出したエッジ線を含む、直近に撮影された所定数の路面画像（例えば直近の３コマ分の路面画像）から抽出したエッジ線に基づいて、車線の位置を算出する。なお、路面画像を複数用いる目的は複数の時刻において検出されたエッジ線を用いることで車線の検出精度を高める目的であるため、処理負荷を低減するために１コマ分の路面画像から車線の位置を算出しても良い。
【００５８】
また、算出した車線の位置に基づき車両から車線までの距離を算出する。
次に、車線の逸脱判定を行う（Ｓ１３）。ここでは、まず、ヨーセンサ２０から取得したヨーレートおよび車速センサ２２から取得した車両速度に基づいて、車両の走行軌跡を予測する。続いて、Ｓ１２にて算出した車線の位置、車両から車線までの距離、および予測した走行軌跡に基づいて、車両が車線を逸脱するまでに要する時間を算出する。
【００５９】
そして、算出した車線を逸脱するまでの時間が所定の閾値（本実施例では１秒）以上であれば、逸脱しないと判定し（Ｓ１３：ＮＯ）、処理がＳ１に戻る。一方、閾値未満であれば、逸脱の危険ありと判定し（Ｓ１３：ＹＥＳ）、ブザー１４に対してブザー要求の制御信号を出力する（Ｓ１４）。その後、処理がＳ１に戻る。
【００６０】
（３）発明の効果
本実施例の車線逸脱警報システム１であれば、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分と、輝度値が全体的に低く、コントラストを充分に示さなくなってしまった可能性の高い色成分が除かれることとなり、それ以外の高いコントラストを有する色成分を用いて精度良くエッジ点を抽出することができる。
【００６１】
また本実施例の車線逸脱警報システム１であれば、色成分を組み合わせて輝度値変換する際に、エッジ点の抽出精度の低下を招く可能性のある色成分を除いて輝度値変換することができる。そのため、色成分を適宜組み合わせて輝度値変換し、コントラストが最大となった組み合わせを採用する、といった処理を行う必要がなくなるため、処理負荷の増加を抑制できる。
【００６２】
また、このようにエッジ点の抽出精度が高まることで、車線の検出精度も向上できる。
（４）対応関係
画像処理ＥＣＵ３２により実行されるＳ１の処理が、本発明の画像取得手段による処理に相当し、Ｓ２，Ｓ３，Ｓ４，および，Ｓ５において色成分を選択する処理が高輝度成分選択手段による処理に相当し、Ｓ２，Ｓ３，Ｓ６，および，Ｓ７において色成分を選択する処理が低輝度成分選択手段による処理に相当し、Ｓ６，７にて輝度値変換する処理およびＳ９の処理がエッジ抽出手段による処理に相当し、Ｓ１１，Ｓ１２の処理が車線検出手段による処理に相当する。
【００６３】
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００６４】
例えば、上記実施例においては、検査ライン４２を１つの基準線４６で分割して２つの画素グループ４２Ｌ，４２Ｒを配する構成を例示したが、基準線を２つ以上設定し、１つの検査ライン上に３つ以上の画素グループが配されるように構成してもよい。また、基準線を設けず、１つの検査ライン上に１つの画素グループが配されるように構成してもよい。
【００６５】
また、上記実施例においては、画素グループにおける各色成分の平均輝度値に基づいてエッジ線を抽出する際に除外される色成分を決定する構成を例示したが、所定の条件を満たした場合に除外される色成分が予め決まっている構成であってもよい。
【００６６】
例えば、昼間などの路面画像の輝度が高い状態でＧ（緑）の色成分が飽和しやすいカメラシステムを用いる場合において、画素グループにおいてＲ（赤），Ｇ，Ｂ（青）を合せた平均輝度値が所定の閾値以上となった場合に、Ｇの色成分を除外する構成とすることが考えられる。このように、予め飽和しやすい色成分が判明している場合は、それ以外の色成分について個別に輝度値の平均値などを算出する必要がなくなり、処理負荷を低減させることができる。
【００６７】
同様に、車両のヘッドライトに照らされた際に、他の色成分よりも輝度値が上がり難い色成分が除外されるように構成してもよい。例えば、路面画像におけるヘッドライトにより照らされた領域において、Ｂの色成分の輝度値が高くなる特性を有するヘッドライトを用いている場合、ＲおよびＧのいずれか一方の色成分を除外することが考えられる。つまり、ヘッドライトの特性と、カメラシステムの特性から予め輝度値が相対的に低くなる色成分が判明している場合には、その色成分を除外するように構成することで、処理負荷を増加させずにエッジ点の抽出精度を高めることができる。
【００６８】
なおその場合には、輝度値が上がり難い色成分の平均輝度値が所定の閾値を下回った場合や、３つの色成分の平均輝度値が所定の閾値を下回った場合に該当する色成分を除外するように構成しても良いし、車両に設けられた照度センサや時計により夜間であることを判定した場合、またはヘッドライトを照射している場合に、該当する色成分を除外するように構成しても良い。
【００６９】
また、上記実施例においては、各色成分の平均輝度値に基づいて除外する色成分を決定する構成を例示したが、図２のＳ３の処理に替えて、画素グループにおいて輝度値が所定値の閾値を超えた画素の数をカウントし、Ｓ４に替えて、その数が所定の閾値以上の色成分があるか否かを判断し、そのような色成分が存在する場合には、Ｓ５に替えて、輝度値が所定値の閾値を超えた画素の数が最も多い色成分を除外して輝度値変換するように構成してもよい。このとき、Ｓ６，７の処理は行わない。
【００７０】
このように構成することで、エッジ点を抽出する際に、輝度値が上限に達してコントラストが低くなってしまった可能性の高い色成分が除かれることとなり、高いコントラストを維持して精度良くエッジ点を抽出することができる。この場合には、Ｓ２，Ｓ３と、Ｓ４に替える処理、およびＳ５に替える処理において色成分を選択する処理が飽和成分選択手段による処理に相当する。
【００７１】
また上記実施例においては、カメラ３０がＲ，Ｇ，Ｂの三原色から構成される路面画像を撮影し、それらの色成分を組み合わせてなるカラー情報を用いる構成を例示したが、三原色ＲＧＢと等価変換できる輝度信号と色差信号の組み合わせで表現された信号形式を用いてもよい。
【符号の説明】
【００７２】
１…車線逸脱警報システム、１０…車内ネットワーク、１２…画像センサ、１４…ブザー、２０…ヨーセンサ、２２…車速センサ、３０…カメラ、４０…路面画像、４２…検査ライン、４２Ｌ，４２Ｒ…画素グループ、４４…矢印、４６…基準線、４８Ｒ，４８Ｂ，４８Ｇ…グラフ、５０，５２，５４，５６，５８，６０…領域
【特許請求の範囲】
【請求項１】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、輝度値の平均値が最も高く、かつ当該平均値が所定値の閾値以上である色成分を選択する高輝度成分選択手段と、
前記複数の色成分のうち、前記高輝度成分選択手段により選択された色成分を除く色成分を用いて、前記画素グループにおけるエッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項２】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、所定の閾値を超えた画素の数が所定数以上かつ最も多い色成分を選択する飽和成分選択手段と、
前記複数の色成分のうち、前記飽和成分選択手段により選択された色成分を除く色成分を用いて、エッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項３】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、輝度値の平均値が最も低く、かつ当該平均値が所定値の閾値以下である色成分を選択する低輝度成分選択手段と、
前記複数の色成分のうち、前記低輝度成分選択手段により選択された色成分を除く色成分を用いて、前記画素グループにおけるエッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項４】
前記画素グループは、前記画像取得手段により取得された前記路面画像において、略水平方向、かつ、前記車両前方の所定の領域を境界とした左側の範囲および右側の範囲のうちの少なくともいずれか一方に設定される
ことを特徴とする請求項１から請求項３のいずれか１項に記載のエッジ点抽出装置。
【請求項５】
前記複数の色成分とは、赤，緑，青の３色の色成分である
ことを特徴とする請求項１から請求項４のいずれか１項に記載のエッジ点抽出装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載のエッジ点抽出装置と、
前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記路面上の車線を検出する車線検出手段と、
を備えることを特徴とする車線検出装置。
【請求項７】
コンピュータシステムに、請求項６に記載の車線検出装置を構成する各手段としての機能を実現させるためのプログラム。
【請求項１】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、輝度値の平均値が最も高く、かつ当該平均値が所定値の閾値以上である色成分を選択する高輝度成分選択手段と、
前記複数の色成分のうち、前記高輝度成分選択手段により選択された色成分を除く色成分を用いて、前記画素グループにおけるエッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項２】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、所定の閾値を超えた画素の数が所定数以上かつ最も多い色成分を選択する飽和成分選択手段と、
前記複数の色成分のうち、前記飽和成分選択手段により選択された色成分を除く色成分を用いて、エッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項３】
車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記路面画像面上にて一列に並んだ複数の画素からなる画素グループを抽出し、当該画素グループにおいて、前記複数の色成分のうち、輝度値の平均値が最も低く、かつ当該平均値が所定値の閾値以下である色成分を選択する低輝度成分選択手段と、
前記複数の色成分のうち、前記低輝度成分選択手段により選択された色成分を除く色成分を用いて、前記画素グループにおけるエッジ点を抽出するエッジ抽出手段と、を備える
ことを特徴とするエッジ点抽出装置。
【請求項４】
前記画素グループは、前記画像取得手段により取得された前記路面画像において、略水平方向、かつ、前記車両前方の所定の領域を境界とした左側の範囲および右側の範囲のうちの少なくともいずれか一方に設定される
ことを特徴とする請求項１から請求項３のいずれか１項に記載のエッジ点抽出装置。
【請求項５】
前記複数の色成分とは、赤，緑，青の３色の色成分である
ことを特徴とする請求項１から請求項４のいずれか１項に記載のエッジ点抽出装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載のエッジ点抽出装置と、
前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記路面上の車線を検出する車線検出手段と、
を備えることを特徴とする車線検出装置。
【請求項７】
コンピュータシステムに、請求項６に記載の車線検出装置を構成する各手段としての機能を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９０２５８（Ｐ２０１２−１９０２５８Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３１４３（Ｐ２０１１−５３１４３）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【Ｆターム（参考）】
[ Back to top ]