車線境界検出装置、車線境界検出プログラム
【課題】撮像画像から得られる車線境界線以外の路面標示の情報を利用して、車線境界の検出精度を向上させる。
【解決手段】車線境界検出装置１０は、車線境界線と補助線とからなる複合線が検出された場合に、複合線を構成する車線境界線および補助線の全てを境界線候補とし、これら境界線候補から求めた候補位置パラメータ（車線中央側のエッジの位置を近似した直線を規定するパラメータ）のうち最も信頼性の高いものを基準線に設定する。基準線の横位置Ｄ３を算出し、補助線が基準線に設定された場合は、補助線と車線境界線との間隔（線間隔）Ｄ２だけ、基準線の横位置Ｄ３を車線境界線側にシフトさせる補正をした位置Ｄ２＋Ｄ３を境界パラメータとして設定する。
【解決手段】車線境界検出装置１０は、車線境界線と補助線とからなる複合線が検出された場合に、複合線を構成する車線境界線および補助線の全てを境界線候補とし、これら境界線候補から求めた候補位置パラメータ（車線中央側のエッジの位置を近似した直線を規定するパラメータ）のうち最も信頼性の高いものを基準線に設定する。基準線の横位置Ｄ３を算出し、補助線が基準線に設定された場合は、補助線と車線境界線との間隔（線間隔）Ｄ２だけ、基準線の横位置Ｄ３を車線境界線側にシフトさせる補正をした位置Ｄ２＋Ｄ３を境界パラメータとして設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線の境界を検出する車線境界検出装置、車線境界検出プログラムに関する。
【背景技術】
【０００２】
車両が車線から逸脱しそうな場合に、警報を発生する車線逸脱警報装置等に利用するために、車両前方に向けて搭載したカメラで前方風景を撮影し、自車両が走行する車線の境界を示すための路面標示である車線境界線（道路上にペイントされた白線等）を検出して、その車線境界線に関するパラメータ（自車との相対位置、角度、車線の曲率等）を求める車線境界検出装置が知られている。
【０００３】
ところで、図１１に示すように、車線境界線は、一又は複数の補助線と共に複合線を形成している場合がある。そして、車線境界検出装置は、このような場合でも、車線境界の位置（例えば、車線境界線の車線中央側エッジの位置）を正しく求める必要がある。
【０００４】
その一つの手法として、複合線が検出された場合には、複合線の標示パターンの特徴から、複合線であるか否か、および複合線の種類を判定し、複合線であると判定された場合には、車線境界線以外の標示パターン（即ち、補助標示等）をノイズとして除去することで、車線境界の位置を認識する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許３７４８８１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、車線境界線等の路面標示は、道路にペイントされたものであるため、車両に踏まれることにより部分的に磨耗していたり、路側物の影や雨等の影響によって路面部分とペイント部分とのコントラストが著しく低下し、両者の識別が部分的に困難になっていたりする場合がある。
【０００７】
従って、複合線の中から車線境界線を識別できたとしても、その識別した車線境界線の形状（ひいては車線境界の位置）を、精度良く検出することができないという問題があり、更には、車線境界の位置を利用する各種制御の信頼性を低下させてしまうという問題があった。
【０００８】
本発明は、上記問題点を解決するために、撮像画像から得られる車線境界線以外の路面標示の情報を利用して、車線境界の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明の車線境界検出装置では、候補抽出手段が、車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、その境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める。なお、近似線は、直線であってもよし、ｎ次関数，楕円関数，双曲線関数等によって規定される曲線であってもよい。
【００１０】
そして、候補抽出手段にて複数の境界線候補が検出された場合、判定手段が、その複数の境界線候補の配置パターンに基づき、その複数の境界線候補が、車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する。
【００１１】
この判定手段により、複数の境界線候補が複合線を形成していると判定された場合、線間間隔検出手段が、複合線を形成する境界線候補の配置パターンから、境界線候補のそれぞれが、車線境界線および補助線のうちいずれに該当するか線種を識別すると共に、補助線に識別された境界線候補毎に車線境界線に識別された境界線候補との間隔である線間隔を求める。
【００１２】
また、本発明の車線境界検出装置では、基準線設定手段が、複合線を形成する境界線候補のうち、候補位置パラメータの信頼性が最も高いものを基準線として設定する。すると、境界パラメータ設定手段が、設定された基準線が車線境界線である場合は、その基準線について算出された候補位置パラメータが示す位置を、車線境界の位置を示す境界パラメータとして設定し、一方、設定された基準線が補助線である場合は、その基準線について算出された候補位置パラメータが示す位置を、その基準線について算出された線間隔だけ車線境界線側にシフトさせたものを、車線境界の位置を示す境界パラメータとして設定する。
【００１３】
このように、本発明の車線境界検出装置では、複数の境界線候補が複合線を形成している場合、補助線の情報をノイズとして除去するのではなく、境界線候補の中で最も信頼性の高い候補位置パラメータの情報を用い、その情報を複合線の配置パターンの情報を用いて必要に応じて補正することによって、車線境界の位置を表す境界パラメータを求めている。
【００１４】
従って、本発明の車線境界検出装置によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状（ひいては候補位置パラメータ）を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報（候補位置パラメータ，線間隔）を用いることで、境界パラメータを精度良く求めることができる。
【００１５】
即ち、補助線は、車線境界線に沿ってペイントされ、しかも両者の間隔（線間隔）は一定であるため、補助線の位置を正確に検出できれば、その検出結果を線間隔分だけシフトさせることによって、車線境界の境界パラメータを正確に検出することができるのである。
【００１６】
本発明の車線境界検出装置において、候補抽出手段は、例えば、請求項２に記載のように、撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、その検出値に対してハフ変換を行うことにより候補位置パラメータを求めるように構成されていてもよい。
【００１７】
この場合、基準線設定手段は、請求項３に記載のように、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値の数が多いほど高く設定するように構成されていてもよい。
【００１８】
なお、候補位置パラメータに適合する検出値の数というのは、ハフ変換における投票数のことであり、ハフ変換によって得られた候補位置パラメータによって規定される近似線上に乗る検出値の数のことを表す。
【００１９】
また、請求項４に記載のように、候補抽出手段が、候補位置パラメータと共に、境界線候補の線幅を求めるように構成されている場合、基準線設定手段は、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値が属する境界線候補の線幅が、線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定するように構成されていてもよい。
【００２０】
また、候補抽出手段は、請求項５に記載のように、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、対象画素での画素値の変化の度合いを求めると共に、判定手段での判定結果に基づき、エッジ抽出フィルタの処理対象となる領域サイズを変化させるように構成されていてもよい。
【００２１】
つまり、候補抽出手段にて使用するエッジ抽出フィルタの領域サイズは、車線境界線のエッジの検出に最適化（認識性能が最大となるように）することが望ましく、例えば、車線境界線の幅の２倍とすることが考えられる。
【００２２】
しかし、この設定では、複合線を構成する車線境界線と補助線との間隔が、車線境界線の幅より狭いと、複合線がペイントされた部分での認識性能が低下する可能性がある。そこで、複合線を検出した場合には、エッジ抽出フィルタの領域サイズを、複合線用に最適化した大きさに変更することが望ましく、例えば、車線境界線と補助線との間隔の２倍とすることが考えられる。
【００２３】
こうすることによって、複合線であるか否かによらず、エッジ抽出フィルタの認識性能を常に最大限に引き出すことができる。
ところで、候補位置パラメータは、請求項６に記載のように、例えば、車線の中心側に位置する境界線候補のエッジの位置を表すように設定することが考えられる。但し、これに限らず、境界線候補の中心位置であってもよいし、車線の外側に位置する境界線候補のエッジの位置であってもよい。
【００２４】
また、境界パラメータ設定手段は、請求項７に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、境界パラメータを求めるように構成されていてもよい。
【００２５】
更に、判定手段は、請求項８に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定するように構成されていてもよい。
【００２６】
つまり、複合線は、車線の左右両側に、同じパターンのものが設置されるため、この特徴を利用することによって、複合線でないものを、複合線であると誤判定してしまうことを防止することができる。
【００２７】
ところで、請求項１〜請求項８のいずれか１項に記載の車線境界検出装置を構成する各手段は、ハードウェアによって実現してもよいが、請求項９に記載のように、コンピュータをこれら各手段として機能させる車線検出プログラムによって実現してもよい。
【図面の簡単な説明】
【００２８】
【図１】（Ａ）は本発明の適用された車線逸脱警報システムの概略構成を示すブロック図、（Ｂ）はその主要部となる車線境界検出装置の構成を示すブロック図。
【図２】メイン処理の内容を示すフローチャート。
【図３】メイン処理中の境界線候補抽出処理の内容を示すフローチャート。
【図４】メイン処理中の複合線判定処理の内容を示すフローチャート。
【図５】メイン処理中の基準線選択処理の内容を示すフローチャート。
【図６】メイン処理中の境界パラメータ算出処理の内容を示すフローチャート。
【図７】エッジ抽出フィルタの構成および動作を示す説明図。
【図８】境界パラメータの算出方法を例示した説明図。
【図９】（Ａ）はハフ変換による投票数と確からしさ（ＰＦｉ）との関係を示すマップ、（Ｂ）は候補幅パラメータと確からしさ（ＰＰｉ）との関係を示すマップ。
【図１０】エッジ抽出フィルタの変形例を示す説明図。
【図１１】複合線を例示した説明図。
【発明を実施するための形態】
【００２９】
以下に本発明の実施形態を図面と共に説明する。
［全体構成］
図１は、車両に搭載された車線逸脱警報システム１の構成を示すブロック図であり、（Ａ）は全体構成、（Ｂ）は主要部となる車線境界検出装置の詳細構成である。
【００３０】
図１（Ａ）に示すように、車線逸脱警報システム１は、自車両が走行中の車線の境界（以下「車線境界」という）となる位置等を示す境界パラメータを生成する車線境界検出装置１０と、車線境界検出装置１０とは車載ＬＡＮを介して接続され、その車載ＬＡＮを介して車線境界検出装置１０から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する車両制御ＥＣＵ２０とを備えている。
【００３１】
車線境界検出装置１０は、図１（Ｂ）に示すように、車両前方の路面を撮像するように配置されたＣＣＤカメラ１１と、ＣＣＤカメラ１１から出力されるアナログの画像信号をデジタルの画像データに変換するアナログ・デジタル変換器（ＡＤＣ）１２と、ＡＤＣ１２によって得られた画像データを格納する画像メモリ１３と、画像メモリ１３に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行するＣＰＵ１４と、ＣＰＵ１４が実行する処理のプログラムなどを記憶するＲＯＭ１５と、ＣＰＵ１４の作業領域として機能するＲＡＭ１６と、ＣＰＵ１４での処理結果などを、車載ＬＡＮを介して外部へ出力するための通信ＩＣ１７等を備えている。
【００３２】
車両制御ＥＣＵ２０は、車線境界検出装置１０と同様に、ＣＰＵ，ＲＯＭ，ＲＡＭ，通信ＩＣを備える他、当該ＥＣＵ２０に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのＩＯポート等を備えている。ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。
【００３３】
なお、車両制御ＥＣＵ２０は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。
【００３４】
［メイン処理］
次に、ＣＰＵ１４が実行するメイン処理（車線境界検出プログラムによる処理の内容）を、図２に示すフローチャートに沿って説明する。本処理は、イグニションスイッチ等の車両の電源がＯＮ状態にされると開始され、その後、一定時間毎（例えば１００ｍｓ毎）に繰り返し実施される。
【００３５】
本処理が起動すると、まず、ＣＣＤカメラ１１，ＡＤＣ１２を作動させ、画像メモリ１３に１画面分の画像データを格納する（Ｓ１１０）。
以下、後で詳述する境界線候補抽出処理（Ｓ１２０）、複合線判定処理（Ｓ１３０）、基準線選択処理（Ｓ１４０）、境界パラメータ算出処理（１５０）を実行して本処理を終了する。
【００３６】
なお、Ｓ１３０〜Ｓ１４０については、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について処理を実行するものとする。つまり、自車両が走行中の車線の左右両端の車線境界について、境界パラメータが求められることになる。
【００３７】
［境界線候補抽出処理］
ここで、先のＳ１２０にて実行する境界線候補抽出処理を、図３に示すフローチャートに沿って説明する。なお、本処理は、自車両が走行している車線（以下「走行車線」という）の境界（左右両縁）を示す車線境界線である可能性がある路面標示（路面にペイントされた白線等）を境界線候補として抽出し、その境界線候補の位置を示す候補位置パラメータ等を生成する処理である。
【００３８】
本処理では、まずＳ２１０にて、画像メモリ１３に格納されている画像データを、規定サイズのエッジ抽出フィルタを用いて処理することにより、画素毎に、画像の水平ライン方向（画像中における車幅方向）に沿って隣接する画素の輝度値の変化の度合いを表す微分値を算出する。
【００３９】
なお、エッジ抽出フィルタは、図７（Ａ）に示すように、例えば、１行２ｎ列のフィルタサイズを有し、その１行が「１，１，…１，−１，−１，…−１」というように、ｎ個のフィルタパラメータ‘１’と、ｎ個のフィルタパラメータ‘−１’で構成されている。
【００４０】
このエッジ抽出フィルタは、図７（Ｂ）に示すように、画像上にて、１画素ずつずらしながら適用することにより、画像全体についてフィルタ出力を得る。また、ある対象画素に対してフィルタを適用した場合の出力値の算出方法は、以下の通りである。
【００４１】
図７（Ｃ）に示す楕円形領域は、図７（Ｂ）に示した画像の一部を拡大したものであり、図中のマスは各画素を表現しており、各画素は画素値（輝度）Ｇｉを有している。また、画素中の番号は、画素列を識別する番号を示すものであり、ｋ列目の画素を対象画素としてエッジ抽出フィルタを適用する場合を示している。
【００４２】
この場合、エッジ抽出フィルタの出力Ｈｋは、対象画素近傍の画素値を用いて（１）式のように算出される。
【００４３】
【数１】
なお、フィルタサイズは、車線境界線の幅の２倍となるように、エッジ抽出フィルタを適用する行によって異なる大きさに設定される。また、このようなエッジ抽出フィルタは、例えば特開２０００−３０６１１０号等に詳述された公知のものである。
【００４４】
続くＳ２２０では、Ｓ２１０にて求めた微分値に基づき、微分値の絶対値が予め設定された閾値以上である点、即ち、隣接する画素の輝度値が大きく変化する地点をエッジ点として抽出し、その抽出したエッジ点の座標値を、ＲＡＭ１６に登録する。
【００４５】
続くＳ２３０では、この登録されたエッジ点を用いて周知のハフ（Ｈｏｕｇｈ）変換処理を実施することにより、当該車両の進行方向に延びる（当該車両の進行方向とのなす角（ヨー角）が一定値未満の）直線パターンを検出する。
【００４６】
なお、ハフ変換処理では、画像データを構成する各画素の画像中における位置が座標（ｘ，ｙ）で表され、直線パターンが一次関数ｙ＝ａｘ＋ｂで近似されるものとして、この一次関数で表される近似線を規定する変数（ａ，ｂ）が求められる。
【００４７】
続くＳ２４０では、検出された直線パターンから、同一の標示パターンの両縁を表す隣接した直線パターンのペアを境界線候補として抽出しラベリングする。この抽出は、例えばエッジ点での微分値の極性等を用いる周知の手法によって行われる。
【００４８】
なお、ラベリングとは、各境界線候補に対してｉ＝０，１，…ｎというように番号付けをする処理を示す。
続くＳ２５０では、境界線候補毎に、候補パラメータを求めてＲＡＭ１６に登録して、本処理を終了する。
【００４９】
なお、候補パラメータとしては、境界線候補の位置を表す候補位置パラメータ、境界線候補の線幅を表す候補幅パラメータが求められる。但し、境界線候補を構成する一対の直線パターンのうち、車線中央側に位置する直線パターンを代表パターンとして、候補位置パラメータとしては、代表パターンについてハフ変換処理によって得られた変数を用い、候補パラメータは、境界線候補を構成する一対の直線パターン間の距離の算出値を用いる。
【００５０】
更に、候補パラメータには、代表パターンに対するハフ変換処理での投票数（即ち、代表パターン上に存在するエッジ点の総数）も含まれる。
［複合線判定処理］
次に、先のＳ１３０にて実行する複合線判定処理を、図４に示すフローチャートに沿って説明する。
【００５１】
本処理では、まず、Ｓ３１０にて、隣接する境界線候補間の間隔をそれぞれ求める。
なお、ここでは、境界線候補間の間隔として、各境界線候補の代表パターン間の距離を用いる。
【００５２】
続くＳ３２０では、Ｓ２５０で求めた候補幅パラメータとＳ３１０で求めた境界線候補間の間隔とに基づき、境界線候補の配置パターンが、予め規定された複合線の配置パターンと一致するか否かを判断し、一致しなければ、そのまま本処理を終了する。
【００５３】
境界線候補の配置が複合線パターンと一致する場合には、Ｓ３３０にて、一致した複合線パターンの構成に従って、境界線候補の線種（車線境界線，補助線）を識別し、ＲＡＭ１６に登録する。
【００５４】
Ｓ３４０では、Ｓ３１０での算出結果のうち、補助線（に識別された境界線候補）と車線境界線（に識別された境界線候補）との間隔（以下「線間隔」という）を表すものを、補助線毎にＲＡＭ１６に登録して本処理を終了する。
【００５５】
つまり、図８（Ａ）に示すように、車線境界線の両側に補助線が存在する場合には、Ｓ３１０では、境界線候補間の間隔としてＤ１，Ｄ２が算出され、Ｓ３２０，Ｓ３４０にて各境界線候補の線種が識別され、Ｓ３４０では、車線境界線より外側に位置する補助線の線間隔としてＤ１、車線境界線より内側に位置する補助線の線間隔としてＤ２が登録されることになる。
【００５６】
［基準線選択処理］
次に、先のＳ１４０にて実行する基準線選択処理を、図５に示すフローチャートに沿って説明する。
【００５７】
本処理では、まずＳ４１０にて、先のＳ１２０にて実行される境界線候補抽出処理で抽出された境界線候補のうちの１つ（ｉ＝０のもの）を選択する。
Ｓ４２０では、選択した境界線候補について算出された候補位置パラメータの信頼度を表す第１の確からしさ（ＰＦｉ）を算出する。
【００５８】
ここでは、Ｓ２５０の処理にて記録されたハフ変換による投票数が多いほど、第１の確からしさ（ＰＦｉ）を高い値に設定する。具体的には、図９（Ａ）に示すように、ハフ変換による投票数が決定すれば、確からしさが一義的に決定するマップを用いて第１の確からしさ（ＰＦｉ）を算出する。図５（Ａ）に示すマップでは、投票数が５０以下の場合には第１の確からしさ（ＰＦｉ）を０に設定するとともに、投票数が１５０以上の場合には第１の確からしさ（ＰＦｉ）を０．５に設定している。
【００５９】
そして、投票数が５０以上かつ１５０未満の場合には、投票数が多くなるにつれて比例的に第１の確からしさ（ＰＦｉ）が増加するように設定している。なお、ハフ変換による投票数は、候補位置パラメータが示す直線に適合する（直線上に位置する）検出値の数を表す。
【００６０】
Ｓ４３０では、選択した境界線候補について算出された候補幅パラメータの信頼度を表す第２の確からしさ（ＰＰｉ）を算出する。
ここでは、Ｓ２５０にて算出された候補幅パラメータに応じて確からしさが一義的に決定するマップを用いて第２の確からしさ（ＰＰｉ）を算出する。このマップにおいては、境界線候補幅が、車線境界線や補助線が採りうる幅に近いほど、第２の確からしさが、より高い値になるように設定されている。
【００６１】
具体的には、図９（Ｂ）に示すように、境界線候補幅が０．１５ｍ〜０．３ｍの範囲内であれば、第２の確からしさ（ＰＰｉ）を最大値である０．５に設定すると共に、境界線候補幅が０．４５ｍ以上であれば、第２の確からしさ（ＰＰｉ）を最小値である０に設定する。また、境界線候補幅が０〜０．１５ｍの範囲内であれば、境界線候補幅が長いほど、第２の確からしさ（ＰＰｉ）の値を比例的に大きく設定し、境界線候補幅が０．３〜０．４５ｍの範囲内の場合、境界線候補幅が長いほど第２の確からしさ（ＰＰｉ）の値を比例的に小さく設定する。
【００６２】
Ｓ４４０では、各確からしさ（ＰＦｉおよびＰＰｉ）の和である総合的な確からしさ（Ｐｉ）を算出して、これをＳ４１０で選択した境界線候補と対応づけてＲＡＭ１６に登録する。
【００６３】
Ｓ４５０では、全ての車線境界線候補についてＳ４１０〜Ｓ４４０の処理を実行したか否かを判定し、未処理の境界線候補が存在すれば、Ｓ４１０に戻って、未処理の境界線候補（ここではｉの値が１だけ大きなもの）を選択し、Ｓ４２０以下の処理を繰り返す。
【００６４】
一方、Ｓ４５０にて、全ての境界線候補を処理済みであると判定された場合は、Ｓ４６０に進み、撮像画像中の当該車両の正面に相当する位置（例えば左右方向における画像中央）を基準として領域を左右に分割したそれぞれの領域において、最も高い総合的な確からしさ（Ｐｉ）を有する境界線候補を基準線として選択し、これをＲＡＭ１６に登録して、本処理を終了する。
【００６５】
［境界パラメータ算出処理］
次に、先のＳ１５０にて実行する境界パラメータ算出処理を、図６に示すフローチャートに沿って説明する。
【００６６】
本処理では、まずＳ５１０にて、Ｓ１４０にて選択された基準線に基づき、自車両から予め設定された規定距離だけ離れた位置での、基準線の横位置、角度を境界パラメータとして算出する。
【００６７】
Ｓ５２０では、基準線は補助線であるか否かを判断し、補助線でなければ、即ち、車線境界線であれば、そのまま本処理を終了する。つまり、この場合、Ｓ５１０にて算出された境界パラメータがそのまま、車線境界を表す境界パラメータとなる。
【００６８】
基準線が補助線である場合は、Ｓ５３０に進み、Ｓ５１０にて算出された横位置を、基準線についてＳ３４０にて算出された線間隔だけ補正して、本処理を終了する。つまり、この場合、Ｓ５１０にて算出された境界パラメータを、Ｓ５３０の処理によって補正したものが、車線境界を表す境界パラメータとなる。
【００６９】
具体的には、車線境界線より内側に位置する補助線が基準線に設定された場合は、Ｓ５１０では、基準線の横位置としてＤ３が算出され（図８（Ｂ）参照）、Ｓ５３０では、基準線となった補助線と車線境界線との間隔（線間隔）Ｄ２だけ、基準線の横位置Ｄ３を車線境界線側にシフトさせる補正をした位置Ｄ２＋Ｄ３が境界パラメータとなる（図８（Ｃ）参照）。
【００７０】
なお、このように算出され（場合によっては補正された）境界パラメータは、車載ＬＡＮを介して車両制御ＥＣＵ２０に提供され、例えば、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する周知の逸脱判定処理等に使用される。
【００７１】
［効果］
以上説明したように、車線逸脱警報システム１において、車線境界検出装置１０は、車線境界線と補助線とからなる複合線が検出された場合に、複合線を構成する車線境界線および補助線の全てを境界線候補とし、これら境界線候補から求めた候補位置パラメータのうち最も信頼性の高いものと、複合線の配置パターン（線間隔）とを利用して、車線境界の位置を表す境界パラメータを求めている。
【００７２】
従って、車線境界検出装置１０によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状（ひいては候補位置パラメータ）を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報（候補位置パラメータ，線間隔）を用いることで、車線境界を表す境界パラメータを精度良く求めることができる。更には、この境界パラメータを利用する逸脱判定処理等の制御精度を向上させることができる。
【００７３】
［発明との対応］
上記実施形態において、Ｓ１２０が候補抽出手段、Ｓ３１０〜Ｓ３２０が判定手段、Ｓ３３０〜Ｓ３４０が線間隔検出手段、Ｓ１４０が基準線設定手段、Ｓ１５０が境界パラメータ設定手段に相当する。
【００７４】
［他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００７５】
例えば、上記実施形態では、Ｓ２１０において、画像データの微分値として、画素の輝度値の変化を求めているが、ＣＣＤカメラ１１がカラーカメラである場合には、カラーカメラから出力されるＲＧＢ信号や、ＲＧＢ信号を輝度信号と色差信号とに変換した際の色差信号の変化を求めるようにしてもよい。
【００７６】
上記実施形態では、画像面内でエッジ抽出フィルタを適用する位置に応じて処理対象とする領域の大きさ（以下「フィルタサイズ」という）を変化させているが、画像に撮像されているものが複合線であるか否かによって、フィルタサイズを変化させるように構成してもよい。この場合、図１０に示すように、検出対象が複合線ではない場合は、フィルタサイズを車線境界線の幅の２倍に設定し、検出対象が複合線である場合は、車線境界線と補助線との間の路面が露出した部分の幅の２倍に設定することが望ましい。
【００７７】
また、上記実施形態では、エッジ抽出フィルタとして、対象画素を中心にして一次元的に設定された領域を処理対象とするものを用いているが、対象画素を中心にして二次元的に設定された領域を処理対象とするものを用いたり、その両者を組み合わせたものを用いたりしてもよい。
【００７８】
上記実施形態では、候補位置パラメータおよび候補幅パラメータから、境界線候補の確からしさ（Ｐｉ）を求めているが、例えば、候補位置パラメータに適合する検出値での画素値の変化が大きいほど、その境界線候補の確からしさ（Ｐｉ）を高めるようしてもよい。また、走行車線の幅等に関する情報を図示しないナビゲーション装置から取得できる場合には、その情報に応じて車線境界線や補助線が検出される領域を推定し、その推定された領域に存在する境界線候補の確からしさを高めるようにしてもよい。
【００７９】
上記実施形態では、車線の左右両側で個別に複合線であるか否かの判定を行っているが、両側とも複合線であると判定された場合にだけ、複合線に対する処理を実行するように構成してもよい。但し、この場合、複数存在する境界線候補のうち、いずれが車線境界線であるかを、複合線のパターンから判定することができないため、例えば、基準線として選択される境界線候補を、そのまま、車線境界線として扱うように構成することが考えられる。
【符号の説明】
【００８０】
１…車線逸脱警報システム １０…車線境界検出装置 １１…ＣＣＤカメラ １２…アナログ・デジタル変換器（ＡＤＣ） １３…画像メモリ １４…ＣＰＵ １５…ＲＯＭ １６…ＲＡＭ １７…通信ＩＣ ２０…車両制御ＥＣＵ
【技術分野】
【０００１】
本発明は、車線の境界を検出する車線境界検出装置、車線境界検出プログラムに関する。
【背景技術】
【０００２】
車両が車線から逸脱しそうな場合に、警報を発生する車線逸脱警報装置等に利用するために、車両前方に向けて搭載したカメラで前方風景を撮影し、自車両が走行する車線の境界を示すための路面標示である車線境界線（道路上にペイントされた白線等）を検出して、その車線境界線に関するパラメータ（自車との相対位置、角度、車線の曲率等）を求める車線境界検出装置が知られている。
【０００３】
ところで、図１１に示すように、車線境界線は、一又は複数の補助線と共に複合線を形成している場合がある。そして、車線境界検出装置は、このような場合でも、車線境界の位置（例えば、車線境界線の車線中央側エッジの位置）を正しく求める必要がある。
【０００４】
その一つの手法として、複合線が検出された場合には、複合線の標示パターンの特徴から、複合線であるか否か、および複合線の種類を判定し、複合線であると判定された場合には、車線境界線以外の標示パターン（即ち、補助標示等）をノイズとして除去することで、車線境界の位置を認識する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許３７４８８１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、車線境界線等の路面標示は、道路にペイントされたものであるため、車両に踏まれることにより部分的に磨耗していたり、路側物の影や雨等の影響によって路面部分とペイント部分とのコントラストが著しく低下し、両者の識別が部分的に困難になっていたりする場合がある。
【０００７】
従って、複合線の中から車線境界線を識別できたとしても、その識別した車線境界線の形状（ひいては車線境界の位置）を、精度良く検出することができないという問題があり、更には、車線境界の位置を利用する各種制御の信頼性を低下させてしまうという問題があった。
【０００８】
本発明は、上記問題点を解決するために、撮像画像から得られる車線境界線以外の路面標示の情報を利用して、車線境界の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明の車線境界検出装置では、候補抽出手段が、車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、その境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める。なお、近似線は、直線であってもよし、ｎ次関数，楕円関数，双曲線関数等によって規定される曲線であってもよい。
【００１０】
そして、候補抽出手段にて複数の境界線候補が検出された場合、判定手段が、その複数の境界線候補の配置パターンに基づき、その複数の境界線候補が、車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する。
【００１１】
この判定手段により、複数の境界線候補が複合線を形成していると判定された場合、線間間隔検出手段が、複合線を形成する境界線候補の配置パターンから、境界線候補のそれぞれが、車線境界線および補助線のうちいずれに該当するか線種を識別すると共に、補助線に識別された境界線候補毎に車線境界線に識別された境界線候補との間隔である線間隔を求める。
【００１２】
また、本発明の車線境界検出装置では、基準線設定手段が、複合線を形成する境界線候補のうち、候補位置パラメータの信頼性が最も高いものを基準線として設定する。すると、境界パラメータ設定手段が、設定された基準線が車線境界線である場合は、その基準線について算出された候補位置パラメータが示す位置を、車線境界の位置を示す境界パラメータとして設定し、一方、設定された基準線が補助線である場合は、その基準線について算出された候補位置パラメータが示す位置を、その基準線について算出された線間隔だけ車線境界線側にシフトさせたものを、車線境界の位置を示す境界パラメータとして設定する。
【００１３】
このように、本発明の車線境界検出装置では、複数の境界線候補が複合線を形成している場合、補助線の情報をノイズとして除去するのではなく、境界線候補の中で最も信頼性の高い候補位置パラメータの情報を用い、その情報を複合線の配置パターンの情報を用いて必要に応じて補正することによって、車線境界の位置を表す境界パラメータを求めている。
【００１４】
従って、本発明の車線境界検出装置によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状（ひいては候補位置パラメータ）を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報（候補位置パラメータ，線間隔）を用いることで、境界パラメータを精度良く求めることができる。
【００１５】
即ち、補助線は、車線境界線に沿ってペイントされ、しかも両者の間隔（線間隔）は一定であるため、補助線の位置を正確に検出できれば、その検出結果を線間隔分だけシフトさせることによって、車線境界の境界パラメータを正確に検出することができるのである。
【００１６】
本発明の車線境界検出装置において、候補抽出手段は、例えば、請求項２に記載のように、撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、その検出値に対してハフ変換を行うことにより候補位置パラメータを求めるように構成されていてもよい。
【００１７】
この場合、基準線設定手段は、請求項３に記載のように、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値の数が多いほど高く設定するように構成されていてもよい。
【００１８】
なお、候補位置パラメータに適合する検出値の数というのは、ハフ変換における投票数のことであり、ハフ変換によって得られた候補位置パラメータによって規定される近似線上に乗る検出値の数のことを表す。
【００１９】
また、請求項４に記載のように、候補抽出手段が、候補位置パラメータと共に、境界線候補の線幅を求めるように構成されている場合、基準線設定手段は、候補位置パラメータの信頼性を、その候補位置パラメータに適合する検出値が属する境界線候補の線幅が、線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定するように構成されていてもよい。
【００２０】
また、候補抽出手段は、請求項５に記載のように、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、対象画素での画素値の変化の度合いを求めると共に、判定手段での判定結果に基づき、エッジ抽出フィルタの処理対象となる領域サイズを変化させるように構成されていてもよい。
【００２１】
つまり、候補抽出手段にて使用するエッジ抽出フィルタの領域サイズは、車線境界線のエッジの検出に最適化（認識性能が最大となるように）することが望ましく、例えば、車線境界線の幅の２倍とすることが考えられる。
【００２２】
しかし、この設定では、複合線を構成する車線境界線と補助線との間隔が、車線境界線の幅より狭いと、複合線がペイントされた部分での認識性能が低下する可能性がある。そこで、複合線を検出した場合には、エッジ抽出フィルタの領域サイズを、複合線用に最適化した大きさに変更することが望ましく、例えば、車線境界線と補助線との間隔の２倍とすることが考えられる。
【００２３】
こうすることによって、複合線であるか否かによらず、エッジ抽出フィルタの認識性能を常に最大限に引き出すことができる。
ところで、候補位置パラメータは、請求項６に記載のように、例えば、車線の中心側に位置する境界線候補のエッジの位置を表すように設定することが考えられる。但し、これに限らず、境界線候補の中心位置であってもよいし、車線の外側に位置する境界線候補のエッジの位置であってもよい。
【００２４】
また、境界パラメータ設定手段は、請求項７に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、境界パラメータを求めるように構成されていてもよい。
【００２５】
更に、判定手段は、請求項８に記載のように、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定するように構成されていてもよい。
【００２６】
つまり、複合線は、車線の左右両側に、同じパターンのものが設置されるため、この特徴を利用することによって、複合線でないものを、複合線であると誤判定してしまうことを防止することができる。
【００２７】
ところで、請求項１〜請求項８のいずれか１項に記載の車線境界検出装置を構成する各手段は、ハードウェアによって実現してもよいが、請求項９に記載のように、コンピュータをこれら各手段として機能させる車線検出プログラムによって実現してもよい。
【図面の簡単な説明】
【００２８】
【図１】（Ａ）は本発明の適用された車線逸脱警報システムの概略構成を示すブロック図、（Ｂ）はその主要部となる車線境界検出装置の構成を示すブロック図。
【図２】メイン処理の内容を示すフローチャート。
【図３】メイン処理中の境界線候補抽出処理の内容を示すフローチャート。
【図４】メイン処理中の複合線判定処理の内容を示すフローチャート。
【図５】メイン処理中の基準線選択処理の内容を示すフローチャート。
【図６】メイン処理中の境界パラメータ算出処理の内容を示すフローチャート。
【図７】エッジ抽出フィルタの構成および動作を示す説明図。
【図８】境界パラメータの算出方法を例示した説明図。
【図９】（Ａ）はハフ変換による投票数と確からしさ（ＰＦｉ）との関係を示すマップ、（Ｂ）は候補幅パラメータと確からしさ（ＰＰｉ）との関係を示すマップ。
【図１０】エッジ抽出フィルタの変形例を示す説明図。
【図１１】複合線を例示した説明図。
【発明を実施するための形態】
【００２９】
以下に本発明の実施形態を図面と共に説明する。
［全体構成］
図１は、車両に搭載された車線逸脱警報システム１の構成を示すブロック図であり、（Ａ）は全体構成、（Ｂ）は主要部となる車線境界検出装置の詳細構成である。
【００３０】
図１（Ａ）に示すように、車線逸脱警報システム１は、自車両が走行中の車線の境界（以下「車線境界」という）となる位置等を示す境界パラメータを生成する車線境界検出装置１０と、車線境界検出装置１０とは車載ＬＡＮを介して接続され、その車載ＬＡＮを介して車線境界検出装置１０から取得する境界パラメータに基づき、自車両が走行中の車線を逸脱する可能性を求めて、その旨をドライバに報知する各種処理を実行する車両制御ＥＣＵ２０とを備えている。
【００３１】
車線境界検出装置１０は、図１（Ｂ）に示すように、車両前方の路面を撮像するように配置されたＣＣＤカメラ１１と、ＣＣＤカメラ１１から出力されるアナログの画像信号をデジタルの画像データに変換するアナログ・デジタル変換器（ＡＤＣ）１２と、ＡＤＣ１２によって得られた画像データを格納する画像メモリ１３と、画像メモリ１３に記憶されている画像データに基づいて、境界パラメータを生成する処理等を実行するＣＰＵ１４と、ＣＰＵ１４が実行する処理のプログラムなどを記憶するＲＯＭ１５と、ＣＰＵ１４の作業領域として機能するＲＡＭ１６と、ＣＰＵ１４での処理結果などを、車載ＬＡＮを介して外部へ出力するための通信ＩＣ１７等を備えている。
【００３２】
車両制御ＥＣＵ２０は、車線境界検出装置１０と同様に、ＣＰＵ，ＲＯＭ，ＲＡＭ，通信ＩＣを備える他、当該ＥＣＵ２０に直結されたセンサ等から検出信号を取り込んだり、制御対象に対する制御信号を出力したりするためのＩＯポート等を備えている。ここでは、制御対象として、警報音を発生させるスピーカが少なくとも接続されている。
【００３３】
なお、車両制御ＥＣＵ２０は、車両が走行レーンから逸脱しないように操舵トルクを制御する操舵トルク制御装置等の交通事故を防止するための装置として機能するように構成されていてもよい。
【００３４】
［メイン処理］
次に、ＣＰＵ１４が実行するメイン処理（車線境界検出プログラムによる処理の内容）を、図２に示すフローチャートに沿って説明する。本処理は、イグニションスイッチ等の車両の電源がＯＮ状態にされると開始され、その後、一定時間毎（例えば１００ｍｓ毎）に繰り返し実施される。
【００３５】
本処理が起動すると、まず、ＣＣＤカメラ１１，ＡＤＣ１２を作動させ、画像メモリ１３に１画面分の画像データを格納する（Ｓ１１０）。
以下、後で詳述する境界線候補抽出処理（Ｓ１２０）、複合線判定処理（Ｓ１３０）、基準線選択処理（Ｓ１４０）、境界パラメータ算出処理（１５０）を実行して本処理を終了する。
【００３６】
なお、Ｓ１３０〜Ｓ１４０については、撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について処理を実行するものとする。つまり、自車両が走行中の車線の左右両端の車線境界について、境界パラメータが求められることになる。
【００３７】
［境界線候補抽出処理］
ここで、先のＳ１２０にて実行する境界線候補抽出処理を、図３に示すフローチャートに沿って説明する。なお、本処理は、自車両が走行している車線（以下「走行車線」という）の境界（左右両縁）を示す車線境界線である可能性がある路面標示（路面にペイントされた白線等）を境界線候補として抽出し、その境界線候補の位置を示す候補位置パラメータ等を生成する処理である。
【００３８】
本処理では、まずＳ２１０にて、画像メモリ１３に格納されている画像データを、規定サイズのエッジ抽出フィルタを用いて処理することにより、画素毎に、画像の水平ライン方向（画像中における車幅方向）に沿って隣接する画素の輝度値の変化の度合いを表す微分値を算出する。
【００３９】
なお、エッジ抽出フィルタは、図７（Ａ）に示すように、例えば、１行２ｎ列のフィルタサイズを有し、その１行が「１，１，…１，−１，−１，…−１」というように、ｎ個のフィルタパラメータ‘１’と、ｎ個のフィルタパラメータ‘−１’で構成されている。
【００４０】
このエッジ抽出フィルタは、図７（Ｂ）に示すように、画像上にて、１画素ずつずらしながら適用することにより、画像全体についてフィルタ出力を得る。また、ある対象画素に対してフィルタを適用した場合の出力値の算出方法は、以下の通りである。
【００４１】
図７（Ｃ）に示す楕円形領域は、図７（Ｂ）に示した画像の一部を拡大したものであり、図中のマスは各画素を表現しており、各画素は画素値（輝度）Ｇｉを有している。また、画素中の番号は、画素列を識別する番号を示すものであり、ｋ列目の画素を対象画素としてエッジ抽出フィルタを適用する場合を示している。
【００４２】
この場合、エッジ抽出フィルタの出力Ｈｋは、対象画素近傍の画素値を用いて（１）式のように算出される。
【００４３】
【数１】
なお、フィルタサイズは、車線境界線の幅の２倍となるように、エッジ抽出フィルタを適用する行によって異なる大きさに設定される。また、このようなエッジ抽出フィルタは、例えば特開２０００−３０６１１０号等に詳述された公知のものである。
【００４４】
続くＳ２２０では、Ｓ２１０にて求めた微分値に基づき、微分値の絶対値が予め設定された閾値以上である点、即ち、隣接する画素の輝度値が大きく変化する地点をエッジ点として抽出し、その抽出したエッジ点の座標値を、ＲＡＭ１６に登録する。
【００４５】
続くＳ２３０では、この登録されたエッジ点を用いて周知のハフ（Ｈｏｕｇｈ）変換処理を実施することにより、当該車両の進行方向に延びる（当該車両の進行方向とのなす角（ヨー角）が一定値未満の）直線パターンを検出する。
【００４６】
なお、ハフ変換処理では、画像データを構成する各画素の画像中における位置が座標（ｘ，ｙ）で表され、直線パターンが一次関数ｙ＝ａｘ＋ｂで近似されるものとして、この一次関数で表される近似線を規定する変数（ａ，ｂ）が求められる。
【００４７】
続くＳ２４０では、検出された直線パターンから、同一の標示パターンの両縁を表す隣接した直線パターンのペアを境界線候補として抽出しラベリングする。この抽出は、例えばエッジ点での微分値の極性等を用いる周知の手法によって行われる。
【００４８】
なお、ラベリングとは、各境界線候補に対してｉ＝０，１，…ｎというように番号付けをする処理を示す。
続くＳ２５０では、境界線候補毎に、候補パラメータを求めてＲＡＭ１６に登録して、本処理を終了する。
【００４９】
なお、候補パラメータとしては、境界線候補の位置を表す候補位置パラメータ、境界線候補の線幅を表す候補幅パラメータが求められる。但し、境界線候補を構成する一対の直線パターンのうち、車線中央側に位置する直線パターンを代表パターンとして、候補位置パラメータとしては、代表パターンについてハフ変換処理によって得られた変数を用い、候補パラメータは、境界線候補を構成する一対の直線パターン間の距離の算出値を用いる。
【００５０】
更に、候補パラメータには、代表パターンに対するハフ変換処理での投票数（即ち、代表パターン上に存在するエッジ点の総数）も含まれる。
［複合線判定処理］
次に、先のＳ１３０にて実行する複合線判定処理を、図４に示すフローチャートに沿って説明する。
【００５１】
本処理では、まず、Ｓ３１０にて、隣接する境界線候補間の間隔をそれぞれ求める。
なお、ここでは、境界線候補間の間隔として、各境界線候補の代表パターン間の距離を用いる。
【００５２】
続くＳ３２０では、Ｓ２５０で求めた候補幅パラメータとＳ３１０で求めた境界線候補間の間隔とに基づき、境界線候補の配置パターンが、予め規定された複合線の配置パターンと一致するか否かを判断し、一致しなければ、そのまま本処理を終了する。
【００５３】
境界線候補の配置が複合線パターンと一致する場合には、Ｓ３３０にて、一致した複合線パターンの構成に従って、境界線候補の線種（車線境界線，補助線）を識別し、ＲＡＭ１６に登録する。
【００５４】
Ｓ３４０では、Ｓ３１０での算出結果のうち、補助線（に識別された境界線候補）と車線境界線（に識別された境界線候補）との間隔（以下「線間隔」という）を表すものを、補助線毎にＲＡＭ１６に登録して本処理を終了する。
【００５５】
つまり、図８（Ａ）に示すように、車線境界線の両側に補助線が存在する場合には、Ｓ３１０では、境界線候補間の間隔としてＤ１，Ｄ２が算出され、Ｓ３２０，Ｓ３４０にて各境界線候補の線種が識別され、Ｓ３４０では、車線境界線より外側に位置する補助線の線間隔としてＤ１、車線境界線より内側に位置する補助線の線間隔としてＤ２が登録されることになる。
【００５６】
［基準線選択処理］
次に、先のＳ１４０にて実行する基準線選択処理を、図５に示すフローチャートに沿って説明する。
【００５７】
本処理では、まずＳ４１０にて、先のＳ１２０にて実行される境界線候補抽出処理で抽出された境界線候補のうちの１つ（ｉ＝０のもの）を選択する。
Ｓ４２０では、選択した境界線候補について算出された候補位置パラメータの信頼度を表す第１の確からしさ（ＰＦｉ）を算出する。
【００５８】
ここでは、Ｓ２５０の処理にて記録されたハフ変換による投票数が多いほど、第１の確からしさ（ＰＦｉ）を高い値に設定する。具体的には、図９（Ａ）に示すように、ハフ変換による投票数が決定すれば、確からしさが一義的に決定するマップを用いて第１の確からしさ（ＰＦｉ）を算出する。図５（Ａ）に示すマップでは、投票数が５０以下の場合には第１の確からしさ（ＰＦｉ）を０に設定するとともに、投票数が１５０以上の場合には第１の確からしさ（ＰＦｉ）を０．５に設定している。
【００５９】
そして、投票数が５０以上かつ１５０未満の場合には、投票数が多くなるにつれて比例的に第１の確からしさ（ＰＦｉ）が増加するように設定している。なお、ハフ変換による投票数は、候補位置パラメータが示す直線に適合する（直線上に位置する）検出値の数を表す。
【００６０】
Ｓ４３０では、選択した境界線候補について算出された候補幅パラメータの信頼度を表す第２の確からしさ（ＰＰｉ）を算出する。
ここでは、Ｓ２５０にて算出された候補幅パラメータに応じて確からしさが一義的に決定するマップを用いて第２の確からしさ（ＰＰｉ）を算出する。このマップにおいては、境界線候補幅が、車線境界線や補助線が採りうる幅に近いほど、第２の確からしさが、より高い値になるように設定されている。
【００６１】
具体的には、図９（Ｂ）に示すように、境界線候補幅が０．１５ｍ〜０．３ｍの範囲内であれば、第２の確からしさ（ＰＰｉ）を最大値である０．５に設定すると共に、境界線候補幅が０．４５ｍ以上であれば、第２の確からしさ（ＰＰｉ）を最小値である０に設定する。また、境界線候補幅が０〜０．１５ｍの範囲内であれば、境界線候補幅が長いほど、第２の確からしさ（ＰＰｉ）の値を比例的に大きく設定し、境界線候補幅が０．３〜０．４５ｍの範囲内の場合、境界線候補幅が長いほど第２の確からしさ（ＰＰｉ）の値を比例的に小さく設定する。
【００６２】
Ｓ４４０では、各確からしさ（ＰＦｉおよびＰＰｉ）の和である総合的な確からしさ（Ｐｉ）を算出して、これをＳ４１０で選択した境界線候補と対応づけてＲＡＭ１６に登録する。
【００６３】
Ｓ４５０では、全ての車線境界線候補についてＳ４１０〜Ｓ４４０の処理を実行したか否かを判定し、未処理の境界線候補が存在すれば、Ｓ４１０に戻って、未処理の境界線候補（ここではｉの値が１だけ大きなもの）を選択し、Ｓ４２０以下の処理を繰り返す。
【００６４】
一方、Ｓ４５０にて、全ての境界線候補を処理済みであると判定された場合は、Ｓ４６０に進み、撮像画像中の当該車両の正面に相当する位置（例えば左右方向における画像中央）を基準として領域を左右に分割したそれぞれの領域において、最も高い総合的な確からしさ（Ｐｉ）を有する境界線候補を基準線として選択し、これをＲＡＭ１６に登録して、本処理を終了する。
【００６５】
［境界パラメータ算出処理］
次に、先のＳ１５０にて実行する境界パラメータ算出処理を、図６に示すフローチャートに沿って説明する。
【００６６】
本処理では、まずＳ５１０にて、Ｓ１４０にて選択された基準線に基づき、自車両から予め設定された規定距離だけ離れた位置での、基準線の横位置、角度を境界パラメータとして算出する。
【００６７】
Ｓ５２０では、基準線は補助線であるか否かを判断し、補助線でなければ、即ち、車線境界線であれば、そのまま本処理を終了する。つまり、この場合、Ｓ５１０にて算出された境界パラメータがそのまま、車線境界を表す境界パラメータとなる。
【００６８】
基準線が補助線である場合は、Ｓ５３０に進み、Ｓ５１０にて算出された横位置を、基準線についてＳ３４０にて算出された線間隔だけ補正して、本処理を終了する。つまり、この場合、Ｓ５１０にて算出された境界パラメータを、Ｓ５３０の処理によって補正したものが、車線境界を表す境界パラメータとなる。
【００６９】
具体的には、車線境界線より内側に位置する補助線が基準線に設定された場合は、Ｓ５１０では、基準線の横位置としてＤ３が算出され（図８（Ｂ）参照）、Ｓ５３０では、基準線となった補助線と車線境界線との間隔（線間隔）Ｄ２だけ、基準線の横位置Ｄ３を車線境界線側にシフトさせる補正をした位置Ｄ２＋Ｄ３が境界パラメータとなる（図８（Ｃ）参照）。
【００７０】
なお、このように算出され（場合によっては補正された）境界パラメータは、車載ＬＡＮを介して車両制御ＥＣＵ２０に提供され、例えば、当該車両がレーン境界線に接近する接近速度を検出し、この接近速度に基づいて検出された走行レーンを逸脱する可能性を表す逸脱可能性を判定する周知の逸脱判定処理等に使用される。
【００７１】
［効果］
以上説明したように、車線逸脱警報システム１において、車線境界検出装置１０は、車線境界線と補助線とからなる複合線が検出された場合に、複合線を構成する車線境界線および補助線の全てを境界線候補とし、これら境界線候補から求めた候補位置パラメータのうち最も信頼性の高いものと、複合線の配置パターン（線間隔）とを利用して、車線境界の位置を表す境界パラメータを求めている。
【００７２】
従って、車線境界検出装置１０によれば、車線境界線の磨耗や、路側物の影や雨等の影響によって車線境界線の形状（ひいては候補位置パラメータ）を正確に検出することができない不安定な環境でも、車線境界線が複合線を形成している場合には、補助線の情報（候補位置パラメータ，線間隔）を用いることで、車線境界を表す境界パラメータを精度良く求めることができる。更には、この境界パラメータを利用する逸脱判定処理等の制御精度を向上させることができる。
【００７３】
［発明との対応］
上記実施形態において、Ｓ１２０が候補抽出手段、Ｓ３１０〜Ｓ３２０が判定手段、Ｓ３３０〜Ｓ３４０が線間隔検出手段、Ｓ１４０が基準線設定手段、Ｓ１５０が境界パラメータ設定手段に相当する。
【００７４】
［他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００７５】
例えば、上記実施形態では、Ｓ２１０において、画像データの微分値として、画素の輝度値の変化を求めているが、ＣＣＤカメラ１１がカラーカメラである場合には、カラーカメラから出力されるＲＧＢ信号や、ＲＧＢ信号を輝度信号と色差信号とに変換した際の色差信号の変化を求めるようにしてもよい。
【００７６】
上記実施形態では、画像面内でエッジ抽出フィルタを適用する位置に応じて処理対象とする領域の大きさ（以下「フィルタサイズ」という）を変化させているが、画像に撮像されているものが複合線であるか否かによって、フィルタサイズを変化させるように構成してもよい。この場合、図１０に示すように、検出対象が複合線ではない場合は、フィルタサイズを車線境界線の幅の２倍に設定し、検出対象が複合線である場合は、車線境界線と補助線との間の路面が露出した部分の幅の２倍に設定することが望ましい。
【００７７】
また、上記実施形態では、エッジ抽出フィルタとして、対象画素を中心にして一次元的に設定された領域を処理対象とするものを用いているが、対象画素を中心にして二次元的に設定された領域を処理対象とするものを用いたり、その両者を組み合わせたものを用いたりしてもよい。
【００７８】
上記実施形態では、候補位置パラメータおよび候補幅パラメータから、境界線候補の確からしさ（Ｐｉ）を求めているが、例えば、候補位置パラメータに適合する検出値での画素値の変化が大きいほど、その境界線候補の確からしさ（Ｐｉ）を高めるようしてもよい。また、走行車線の幅等に関する情報を図示しないナビゲーション装置から取得できる場合には、その情報に応じて車線境界線や補助線が検出される領域を推定し、その推定された領域に存在する境界線候補の確からしさを高めるようにしてもよい。
【００７９】
上記実施形態では、車線の左右両側で個別に複合線であるか否かの判定を行っているが、両側とも複合線であると判定された場合にだけ、複合線に対する処理を実行するように構成してもよい。但し、この場合、複数存在する境界線候補のうち、いずれが車線境界線であるかを、複合線のパターンから判定することができないため、例えば、基準線として選択される境界線候補を、そのまま、車線境界線として扱うように構成することが考えられる。
【符号の説明】
【００８０】
１…車線逸脱警報システム １０…車線境界検出装置 １１…ＣＣＤカメラ １２…アナログ・デジタル変換器（ＡＤＣ） １３…画像メモリ １４…ＣＰＵ １５…ＲＯＭ １６…ＲＡＭ １７…通信ＩＣ ２０…車両制御ＥＣＵ
【特許請求の範囲】
【請求項１】
車両に搭載され、走行中の車線である走行車線の境界を示す車線境界を検出する車線境界検出装置であって、
車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、該境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める候補抽出手段と、
前記候補抽出手段にて複数の境界線候補が検出された場合、該複数の境界線候補の配置パターンから、該複数の境界線候補が車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する判定手段と、
前記判定手段により前記複数の境界線候補が複合線を形成していると判定した場合、該複合線を形成する前記境界線候補の配置パターンから、該境界線候補のそれぞれが、前記車線境界線および前記補助線のうちいずれに該当するか線種を識別すると共に、前記補助線に識別された前記境界線候補毎に前記車線境界線に識別された前記境界線候補との間隔である線間隔を求める線間隔検出手段と、
前記複合線を形成する前記境界線候補のうち、前記候補位置パラメータの信頼性が最も高いものを基準線として設定する基準線設定手段と、
前記基準線が前記車線境界線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、前記基準線が前記補助線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、該基準線について算出された前記線間隔だけ前記車線境界線側にシフトさせたものを、前記車線境界の位置を示す境界パラメータとして設定する境界パラメータ設定手段と、
を備えることを特徴とする車線境界検出装置。
【請求項２】
前記候補抽出手段は、前記撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、該検出値に対してハフ変換を行うことにより前記候補位置パラメータを求めることを特徴とする請求項１に記載の車線境界検出装置。
【請求項３】
前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値の数が多いほど高く設定することを特徴とする請求項２に記載の車線境界検出装置。
【請求項４】
前記候補抽出手段は、前記候補位置パラメータと共に、前記境界線候補の線幅を求め、
前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値が属する前記線幅が、前記線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定することを特徴とする請求項２又は請求項３に記載の車線境界検出装置。
【請求項５】
前記候補抽出手段は、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、前記対象画素での画素値の変化の度合いを求めると共に、前記判定手段での判定結果に基づき、前記エッジ抽出フィルタの処理対象となる領域サイズを変化させることを特徴とする請求項２乃至請求項４のいずれか１項に記載の車線境界検出装置。
【請求項６】
前記候補位置パラメータは、前記車線の中心側に位置する前記境界線候補のエッジの位置を表すことを特徴とする請求項１乃至請求項５のいずれかに記載の車線境界検出装置。
【請求項７】
前記境界パラメータ設定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、前記境界パラメータを求めることを特徴とする請求項１乃至請求項６のいずれか１項に記載の車線境界検出装置。
【請求項８】
前記判定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定することを特徴とする請求項１乃至請求項７のいずれか１項に記載の車線境界検出装置。
【請求項９】
コンピュータを、請求項１〜請求項８のいずれか１項に記載の車線境界検出装置を構成する各手段として機能させることを特徴とする車線境界検出プログラム。
【請求項１】
車両に搭載され、走行中の車線である走行車線の境界を示す車線境界を検出する車線境界検出装置であって、
車両前方の路面を撮像した撮像画像中から、車線境界を示すための路面標示である車線境界線の可能性がある境界線候補を抽出し、該境界線候補の位置を示した近似線を規定するパラメータである候補位置パラメータを求める候補抽出手段と、
前記候補抽出手段にて複数の境界線候補が検出された場合、該複数の境界線候補の配置パターンから、該複数の境界線候補が車線境界線および一又は複数の補助線からなる複合線を形成しているか否かを判定する判定手段と、
前記判定手段により前記複数の境界線候補が複合線を形成していると判定した場合、該複合線を形成する前記境界線候補の配置パターンから、該境界線候補のそれぞれが、前記車線境界線および前記補助線のうちいずれに該当するか線種を識別すると共に、前記補助線に識別された前記境界線候補毎に前記車線境界線に識別された前記境界線候補との間隔である線間隔を求める線間隔検出手段と、
前記複合線を形成する前記境界線候補のうち、前記候補位置パラメータの信頼性が最も高いものを基準線として設定する基準線設定手段と、
前記基準線が前記車線境界線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、前記基準線が前記補助線である場合は、該基準線について算出された前記候補位置パラメータが示す位置を、該基準線について算出された前記線間隔だけ前記車線境界線側にシフトさせたものを、前記車線境界の位置を示す境界パラメータとして設定する境界パラメータ設定手段と、
を備えることを特徴とする車線境界検出装置。
【請求項２】
前記候補抽出手段は、前記撮像画像を、画像中における車幅方向に沿って配列された画素の画素値の値が大きく変化するエッジ点の位置を検出値とし、該検出値に対してハフ変換を行うことにより前記候補位置パラメータを求めることを特徴とする請求項１に記載の車線境界検出装置。
【請求項３】
前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値の数が多いほど高く設定することを特徴とする請求項２に記載の車線境界検出装置。
【請求項４】
前記候補抽出手段は、前記候補位置パラメータと共に、前記境界線候補の線幅を求め、
前記基準線設定手段は、前記候補位置パラメータの信頼性を、該候補位置パラメータに適合する前記検出値が属する前記線幅が、前記線間隔検出手段にて識別された線種について予め設定されているパターン幅に近いほど高く設定することを特徴とする請求項２又は請求項３に記載の車線境界検出装置。
【請求項５】
前記候補抽出手段は、処理の対象となる対象画素を中心として設定された規定サイズの領域内の画素値を処理するエッジ抽出フィルタを用いることで、前記対象画素での画素値の変化の度合いを求めると共に、前記判定手段での判定結果に基づき、前記エッジ抽出フィルタの処理対象となる領域サイズを変化させることを特徴とする請求項２乃至請求項４のいずれか１項に記載の車線境界検出装置。
【請求項６】
前記候補位置パラメータは、前記車線の中心側に位置する前記境界線候補のエッジの位置を表すことを特徴とする請求項１乃至請求項５のいずれかに記載の車線境界検出装置。
【請求項７】
前記境界パラメータ設定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域について、前記境界パラメータを求めることを特徴とする請求項１乃至請求項６のいずれか１項に記載の車線境界検出装置。
【請求項８】
前記判定手段は、前記撮像画像中における当該車両の正面に相当する位置を基準として領域を左右に分割したそれぞれの領域にて判定を行い、両者の判定結果が異なる場合には、いずれも複合線ではないと判定することを特徴とする請求項１乃至請求項７のいずれか１項に記載の車線境界検出装置。
【請求項９】
コンピュータを、請求項１〜請求項８のいずれか１項に記載の車線境界検出装置を構成する各手段として機能させることを特徴とする車線境界検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図８】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１１】
【図８】
【図１０】
【公開番号】特開２０１１−２４３１６１（Ｐ２０１１−２４３１６１Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１７３１９（Ｐ２０１０−１１７３１９）
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]