区画線検出装置
【課題】高い精度で区画線を検出する区画線検出装置を提供する。
【解決手段】画像処理ＥＣＵは、路面画像のデータを取得し（Ｓ１０）、取得した路面画像に基づいてエッジ点を抽出する（Ｓ１２）。次に、動作モードを判断し（Ｓ１４）、破線モード，フレーム加算モードのいずれかであれば（Ｓ１４：ＹＥＳ）、フレーム加算処理を行う（Ｓ１８、Ｓ２０）。続いて、エッジ線の抽出を行う（Ｓ２２）。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。なお、このＳ２２にて抽出されたエッジ線が区画線となる。次に、警報処理を行い（Ｓ２４）、車両が車線から逸脱する危険ありと判定すれば、ブザーに対してブザー要求の制御信号を出力する。
【解決手段】画像処理ＥＣＵは、路面画像のデータを取得し（Ｓ１０）、取得した路面画像に基づいてエッジ点を抽出する（Ｓ１２）。次に、動作モードを判断し（Ｓ１４）、破線モード，フレーム加算モードのいずれかであれば（Ｓ１４：ＹＥＳ）、フレーム加算処理を行う（Ｓ１８、Ｓ２０）。続いて、エッジ線の抽出を行う（Ｓ２２）。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。なお、このＳ２２にて抽出されたエッジ線が区画線となる。次に、警報処理を行い（Ｓ２４）、車両が車線から逸脱する危険ありと判定すれば、ブザーに対してブザー要求の制御信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。
【背景技術】
【０００２】
従来、車両前方の路面を撮影した路面画像を画像処理して区画線を検出する区画線検出装置が提案されている。区画線とは、車両の走行車線などを区切る線であって、走行車線に沿って配置される実線や破線からなる白線等のペイント、または走行車線に沿って間欠的に配置される道路鋲などによって構成される。
【０００３】
区画線検出装置は、白線等のペイントや道路鋲などを示すエッジ点を抽出し、抽出された複数のエッジ点に基づいて区画線を検出する。区画線検出装置によって検出された区画線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が区画線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
【０００４】
ところで、上記区画線が、ペイント長さが短くギャップが長い破線や、点在する道路鋲などによって構成されている場合、路面画像における画像処理範囲内にそれら区画線の構成物が十分に入らず、区画線が正しく認識できない場合がある。
【０００５】
そこで、従来、過去の路面画像を最新のフレームに重ねて（フレームを加算して）、その重ねたフレームから区画線を検出する道路区画線検出装置が提案されている（特許文献１参照）。この装置は、区画線の構成物の数（エッジ点の数）を増やすことで、区画線の検出精度を上げることを目的としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３５０５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１に記載の装置では、カメラが撮影した画像からエッジ点を抽出し、そのエッジ点を適宜結ぶことで線状のエッジ線（区画線）を生成する。しかしながら、フレームの加算は、１つのフレームのエッジ点から線状のエッジ線を生成できないときに限り行うように構成されているため、エッジ点の抽出量が十分でない場合であっても、エッジ線が生成できればフレームの加算を行わず、少ないエッジ点に基づいてエッジ線が生成された場合にその検出精度が落ちてしまうという問題があった。
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、その目的は、高い精度で区画線を検出する区画線検出装置を提供することである。
【課題を解決するための手段】
【０００９】
上述した問題を解決するためになされた請求項１に記載の発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。この区画線検出装置は、路面画像を繰り返し取得して、その取得された路面画像からエッジ点を抽出し、抽出されたエッジ点に基づいて、区画線を検出する。そして、１つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出することを特徴とする。
【００１０】
このように構成された区画線検出装置では、１つのフレームの路面画像（以降、単にフレームという場合がある）に基づいて検出された区画線上に位置するエッジ点が所定のしきい値よりも少ない場合、即ち、少ないエッジ点によって区画線が検出されていて、区画線が正確に検出されていない可能性が高い場合には、複数のフレームに基づいて区画線を検出する。そのため、高い精度で区画線を検出することができる。
【００１１】
また、区画線上に所定のしきい値よりも多くのエッジ点が検出されており、区画線が正確に検出されていることが期待できる場合には、１つのフレームから区画線を検出するため、不必要な処理を行うことなく処理負荷を低減することができる。
【００１２】
上述した「区画線上に位置するエッジ点」とは、例えば、路面画像における複数のエッジ点に基づいて抽出されたエッジ線（区画線）から所定の距離以内に存在するエッジ点を上記エッジ点とすることが考えられる。また、ハフ変換を行う場合にはエッジ線に投票したエッジ点を上記エッジ点としてもよい。
【００１３】
なお、複数のフレームに基づいて区画線を検出することは、区画線上のエッジ点の数が少ない場合に限られない。例えば、請求項２に記載の区画線検出装置のように、１つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
【００１４】
このように構成された区画線検出装置であれば、１つのフレームに基づいて区画線が検出できない場合であっても、複数のフレームを用いることによって区画線を検出できるようになる。従って、区画線上のエッジ点の数が少ない場合のみでなく、広く必要な場面において複数のフレームに基づく区画線検出ができるようになる。
【００１５】
上記区画線上のエッジ点が少ない場合と、区画線が検出できない場合と、で同じ数のフレームを用いて区画線を検出してもよいが、フレームの数を変更してもよい。例えば、請求項３に記載の区画線検出装置のように、１つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、１つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合よりも多くの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
【００１６】
このように構成された区画線検出装置であれば、１つのフレームに基づいて区画線を検出できないとき、即ちエッジ点の不足度合が大きい場合には比較的多数のフレームからエッジ点を抽出する一方、１つのフレームに基づいて区画線が検出できるとき、即ちエッジ点の不足度合が比較的小さい場合には比較的少数のフレームからエッジ点を抽出する。
【００１７】
従って、エッジ点の不足度合に応じて適切な数のフレームを加算することができるため、エッジ点が非常に不足している場合において少数のフレームしか加算せずにエッジが不足して区画線の検出精度が低くなってしまうことや、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。
【００１８】
ところで、フレームを加算するにあたって、車両が区画線に沿って走行している場合には、区画線と路面画像との位置関係が一定であるため、フレームを単純に重ねることで適当な位置にエッジ点を増加させることができるが、車両の進行方向と区画線とが交差している場合のように、車両が移動すると区画線と路面画像との位置関係が変化する場合には、フレームを単純に重ねると、加えられたフレームのエッジ点の位置が適切な位置とならない場合がある。
【００１９】
そこで、請求項４に記載の区画線検出装置のように構成してもよい。この区画線検出装置は、検出された区画線と、車両の進行方向と、がなす角度を検出する機能、および、１つのフレームの路面画像を取得したときからの走行距離を取得する機能を有している。そして、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するときには、上述した角度および走行距離に基づいて、車両の進行方向と交差する方向に対する、区画線の車両を基準とする移動量を算出し、算出された移動量に応じて、複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて区画線を検出することを特徴とする。
【００２０】
このように構成された区画線検出装置であれば、車両の進行方向と区画線とが交差している場合であっても、加算したフレームのエッジ点の位置を適切な位置とすることができるため、高い精度で区画線を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】車線逸脱警報システムの構成を示すブロック図である。
【図２】画像処理ＥＣＵによる逸脱警報処理の処理手順を示すフローチャートである。
【図３】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【図４】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【図５】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【発明を実施するための形態】
【００２２】
以下に本発明の実施形態を図面と共に説明する。ただし、以下に説明する実施形態は、あくまでも例示にすぎず、本発明が、下記の事例以外にも様々な形態で実施できるのはもちろんである。
［実施例］
（１）車線逸脱警報システム１の構成
車線逸脱警報システム１は、自動車等の車両に搭載されて用いられる装置であって、図１に示すように、ＣＡＮによる車内ネットワーク１０と、画像センサ１２と、ブザー１４と、を有している。
【００２３】
車内ネットワーク１０は、車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ２０と、車両の走行速度を検出する車速センサ２２と、を有している。
画像センサ１２は、カメラ３０と、カメラ３０が撮影した画像を処理し、ブザー１４にブザー要求の制御信号を出力する画像処理ＥＣＵ３２と、からなる。なお、この画像処理ＥＣＵ３２が本発明における区画線検出装置に相当する。
【００２４】
カメラ３０は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔（本実施例では１／１０ｓ）で繰り返し撮影して、その路面画像のデータ（以降、当該データを路面画像という場合がある）を画像処理ＥＣＵ３２に出力するものである。カメラ３０としては、例えば可視画像を取得することができるＣＣＤカメラや撮像管を用いたカメラ、または赤外線画像を取得することができる赤外線カメラなどを用いることができる。
【００２５】
画像処理ＥＣＵ３２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，入出力インターフェース，およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
【００２６】
画像処理ＥＣＵ３２は、ＲＯＭから読み込んだアプリケーションプログラムやＲＡＭに格納された各種データに従って、後述する逸脱警報処理などを実行する
また画像処理ＥＣＵ３２は車内ネットワーク１０と接続しており、ヨーセンサ２０および車速センサ２２と通信して各センサの出力値を取得する。
【００２７】
また画像処理ＥＣＵ３２はブザー１４と接続しており、逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。
ブザー１４は、画像処理ＥＣＵ３２より上記制御信号を受信すると、車両内部に警報音を発報させる。
（２）画像処理ＥＣＵ３２による処理
以下に、画像処理ＥＣＵ３２により実行される逸脱警報処理の処理手順を、図２に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ１２に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
【００２８】
この逸脱警報処理では、まず、路面画像のデータをカメラ３０から取得する（Ｓ１０）。
次に、Ｓ１０にて取得した路面画像に基づいてエッジ点を抽出する（Ｓ１２）。エッジ点を抽出する具体的な手法は特に限定されないが、路面画像から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。
【００２９】
次に、動作モードが破線モード，またはフレーム加算モードであるか否かを判断する（Ｓ１４）。画像処理ＥＣＵ３２の動作モードは、通常モード，破線モード，フレーム加算モードのいずれかであって、以降の処理（Ｓ２８、Ｓ３４、Ｓ３６）において設定される。動作モードによって路面画像から区画線を検出するための具体的な処理が変更されるが、詳細は後述する。なお、初期状態では通常モードとして設定される。
【００３０】
このＳ１４においては、動作モードが破線モード，フレーム加算モードのいずれでもなければ（Ｓ１４：ＮＯ）、即ち動作モードが通常モードに設定されていれば、処理がＳ２２に移行する。一方、破線モード，フレーム加算モードのいずれかであれば（Ｓ１４：ＹＥＳ）、処理がＳ１６に移行する。
【００３１】
次に、前回のフレームにて検出したエッジ線が傾いているか否かを判定する（Ｓ１６）。前回のフレームとは、路面画像の最新フレームを取得した直前のＳ１０のさらに１回前のＳ１０の処理にて取得された、最新フレームの１つ過去に撮影されたフレームである。
【００３２】
上記路面画像は、直前のＳ２２（逸脱警報処理全体がループする前のＳ２２）においてエッジ線が抽出されている。ここではまず、その既に抽出されたエッジ線と、車両の進行方向と、がなす角度を測定する。この角度は、路面画像におけるエッジ線の位置から求めることができる。そして、測定された角度が所定の角度（例えば５°）以上傾いていたときに、エッジ線が傾いていると判定する。
【００３３】
所定の角度以上エッジ線が傾いていなければ（Ｓ１６：ＮＯ）、傾きを考慮しない通常のフレーム加算処理を行う（Ｓ１８）。
図３に、本実施例の車線逸脱警報システム１においてカメラ３０が撮影した、時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図３（Ａ）は路面画像が撮影されたタイミングにおける車両４０の周囲の状況を示しており、図３（Ｂ）はその次のフレームが撮影されたタイミングの状況を示している。なお区画線４２は説明のために記載した線であって、実際の道路上に存在する線ではない。
【００３４】
車両４０が道路上の区画線に沿って走行している場合には、車両４０と区画線４２との位置関係は変化しない。よって、図３（Ａ）における区画線４２を構成する破線４４は、図３（Ｂ）に示す破線４４ａのように、車両４０の進行方向と反対向きに移動するものの、区画線４２上に位置している。
【００３５】
ここで、２つのフレームを重ねて、図３（Ｂ）における図３（Ａ）の破線４４と同じ位置に破線４４ｂを重ね合わせると、破線４４ａと破線４４ｂとがいずれも区画線４２上に正しく配置されることとなる。よって、破線４４ａおよび破線４４ｂのエッジ点を用いてエッジ線を抽出することで、区画線４２を高い精度で検出することができる。
【００３６】
上述した手法を用いるために、Ｓ１８では、直前のＳ１２にて抽出されたエッジ点と、過去のＳ１２において抽出された過去のフレームのエッジ点と、を重ね合わせる（以降、この処理を、フレーム加算ともいう）。なお、動作モードが破線モードのときには、過去１フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去２フレーム分のエッジ点を重ね合わせる。その後、処理がＳ２２に移行する。
【００３７】
また、上記Ｓ１６において所定の角度以上エッジ線が傾いていれば（Ｓ１６：ＹＥＳ）、傾きを考慮したフレーム加算処理を行う（Ｓ２０）。
図４および図５に、車両４０が道路上の区画線と交差する方向に走行する場合において、カメラ３０が撮影した時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図４（Ａ）は路面画像が撮影されたタイミングにおける車両４０の周囲の状況を示しており、図４（Ｂ）はその次のフレームが撮影されたときの状況を示している。
【００３８】
車両４０が道路上の区画線と交差する方向に走行する場合、図４（Ａ）における区画線４２を構成する破線４４は、車両４０の進行方向と反対向きに移動して、図４（Ｂ）に示す破線４４ａの位置となる。
【００３９】
このとき、図４（Ｂ）において、図４（Ａ）の破線４４と同じ位置に破線４４ｂを重ね合わせると、破線４４ａと破線４４ｂと同一の区画線４２上に存在しなくなる。
そこで、このＳ２０では、図５（Ａ）、（Ｂ）に示す手法により、破線４４ａと破線４４ｂとのずれがなくなるように重ねるエッジ点の位置を修正する。本実施例では、破線４４ａを車両４０の進行方向と直交する方向に移動量Ｂだけ移動させる。この移動量Ｂは、車両４０が図５（Ａ）のタイミングから図５（Ｂ）のタイミングまで走行する間に、車両４０の進行方向と直交する方向に対する区画線４２の車両４０を基準とする移動量（距離）であって、車両４０が上記期間に進んだ距離Ｄと、車両４０の進行方向と区画線４２とのなす傾きの角度Ａと、から、以下の式にて算出することができる。
【００４０】
Ｂ＝ＤｔａｎＡ
上述した手法を用いるために、このＳ２０では、直前のＳ１２にて抽出された最新フレームのエッジ点と、過去のＳ１２において抽出された過去のフレームのエッジ点を移動量Ｂ移動させたものと、を重ね合わせる。
【００４１】
具体的には、距離Ｄは、過去フレームを撮影してから最新フレームを撮影するまでの時間と、車速センサ２２から取得した走行速度と、に基づいて算出できる。また、角度ＡはＳ１６にて求めた角度である。
【００４２】
なお、動作モードが破線モードのときには、過去１フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去２フレームのエッジ点を重ね合わせる。その後、処理がＳ２２に移行する。
【００４３】
続いて、エッジ線の抽出を行う（Ｓ２２）。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。通常モードの場合にはＳ１２にて抽出したエッジ点を用い、破線モードおよびフレーム加算モードではＳ１８またはＳ２０にてフレーム加算したエッジ点を用いる。なお、このＳ２２にて抽出されたエッジ線が区画線となる。
【００４４】
次に、警報処理を行う（Ｓ２４）。ここでは、まず、算出した区画線の位置に基づき車両から区画線までの距離を算出する。
次に、ヨーセンサ２０から取得したヨーレートおよび車速センサ２２から取得した車両速度に基づいて、車両の走行軌跡を予測する。次に、算出した区画線の位置と、車両から区画線までの距離と、予測した走行軌跡と、に基づいて車両が区画線を逸脱するまでに要する時間を算出する。
【００４５】
そして、算出した区画線を逸脱するまでの時間が所定のしきい値（本実施例では１秒）以上であれば、逸脱しないと判定し、警報動作を行わず処理がＳ２６に移行する。一方、しきい値未満であれば、逸脱の危険ありと判定し、ブザー１４に対してブザー要求の制御信号を出力する。その後、処理がＳ２６に移行する。
【００４６】
次に、Ｓ２２のエッジ線を抽出する処理によって、エッジ線が存在するか否かを判断する（Ｓ２６）。本実施例ではエッジ点をハフ変換することでエッジ線を抽出しているが、エッジ点が少ない場合など、エッジ線が抽出できない場合がある。
【００４７】
Ｓ２６においてエッジ線が存在していなければ（Ｓ２６：ＮＯ）、即ち直線を認識できるように適当にエッジ点が検出されておらず、Ｓ２２にてエッジ線の抽出が不可能であれば、動作モードを「フレーム加算モード」に設定し（Ｓ２８）、処理がＳ１０に戻る。
【００４８】
また、エッジ線が存在していれば（Ｓ２６：ＹＥＳ）、即ち直線を認識できるように適当にエッジ点が検出されており、Ｓ２２にてエッジ線の抽出ができていれば、処理がＳ３０に移行する。
【００４９】
次に、エッジ線上のエッジ点数が第１のしきい値（本実施例においては、３点）以上であるか否かを判断する（Ｓ３０）。ここでは、Ｓ２２にて抽出したエッジ線上に、直前のＳ１０にて取得された路面画像に基づくエッジ点がいくつ存在するかをカウントする。Ｓ１８，Ｓ２０においてフレーム加算した過去フレームのエッジ点はカウントしない。
【００５０】
なお、エッジ点がエッジ線上にあるか否かの判断は、そのエッジ点がエッジ線から所定の距離以内に存在するか否かにより判断する。なお、Ｓ２２にて抽出されたエッジ線に対してハフ変換時に投票したエッジ点を、上記エッジ線上にあるエッジ点と判断してもよい。
【００５１】
エッジ点の数が第１のしきい値以上でなければ（Ｓ３０：ＮＯ）、動作モードを「フレーム加算モード」に設定し（Ｓ２８）、処理がＳ１０に戻る。一方、エッジ点の数が第１のしきい値以上であれば（Ｓ３０：ＹＥＳ）、処理がＳ３２に移行する。
【００５２】
なお、上記第１のしきい値は、動作モードを「フレーム加算モード」から「破線モード」または「通常モード」に再設定する際の判断基準となる値である。よって、その値は少なくともエッジ点が検出可能となる値に設定しておくことが好ましい。
【００５３】
次に、エッジ線上のエッジ点数が第２のしきい値（本発明における所定のしきい値に対応するしきい値であって、本実施例においては５点）以上であるか否かを判断する（Ｓ３２）。ここでは、上記Ｓ３０の処理と同様に、直前のＳ１０にて取得された路面画像に基づくエッジ点のみをカウントする。
【００５４】
エッジ点の数が第２のしきい値以上であれば（Ｓ３２：ＹＥＳ）、動作モードを「通常モード」に設定し（Ｓ３４）、処理がＳ１０に戻る。また、エッジ点の数が第２のしきい値以上でなければ（Ｓ３２：ＮＯ）、動作モードを「破線モード」に設定し（Ｓ３６）、処理がＳ１０に戻る。
（３）発明の効果
このように構成された車線逸脱警報システム１では、逸脱警報処理のＳ１０にて取得された１フレームの路面画像から抽出されたエッジ点が、エッジ線（区画線）上に第２のしきい値以上ある場合（Ｓ３２においてＹＥＳとなる場合）を除く広い場合において、複数のフレームの路面画像に基づいて区画線を検出する。
【００５５】
従って、区画線が破線やボッツドッツなどの間欠的に配置されるものから構成されているなどの理由により、１フレームからはエッジ点が十分に検出されていない場合であっても、複数フレームに基づく多数のエッジ点から高い精度で区画線を検出することができる。
【００５６】
また、区画線上のエッジ点の数が第２のしきい値以上ある場合は、１フレームにて区画線を正確に検出することが期待できるためフレームを加算する処理を実行せず、処理負荷を低減することができる。
【００５７】
また、上記車線逸脱警報システム１では、破線モードの場合とフレーム加算モードの場合とで加算するフレーム数を変更している。エッジ点の不足度合が比較的小さい破線モードの場合には、加算するフレーム数が少ないため、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。また、エッジ点の不足度合が大きいフレーム加算モードの場合には、加算するフレーム数が多いため、フレーム数が不足して区画線の検出精度が低くなってしまうことを抑制できる。
【００５８】
また、上記車線逸脱警報システム１では、エッジ線が車両の進行方向から所定の角度以上傾いている場合には、その傾きを考慮したフレーム加算を行うため、加算したフレームのエッジ点の位置が適切な位置となり、高い精度で区画線を検出することができる。
（４）対応関係
画像処理ＥＣＵ３２により実行されるＳ１０の処理が、本発明の画像取得手段による処理に相当し、Ｓ１２の処理がエッジ抽出手段による処理に相当し、Ｓ１８〜Ｓ２２の処理が検出手段による処理に相当し、Ｓ１６において区画線と車両の進行方向とがなす角度を検出する処理が角度検出手段による処理に相当し、Ｓ２０において距離Ｄを算出する処理が走行距離取得手段による処理に相当する。
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００５９】
例えば、上記実施例においては、逸脱警報処理のＳ１８およびＳ２０において、フレーム加算を行う際には、過去フレームのエッジ点のみを重ねる構成を例示したが、路面画像自体を重ねる構成であってもよい。Ｓ２０においては、算出した移動量Ｂの分だけ路面画像をずらして重ねる構成とすることが考えられる。
【００６０】
また、上記実施例においては、エッジ線を抽出するための数学的手法としてハフ変換処理を行っているが、それ以外の処理や手法によってエッジ線を抽出する構成であってもよい。
【００６１】
また、上記実施例においては、加算するフレームの数を、破線モードの場合に１、フレーム加算モードの場合に２、と設定されている構成を例示したが、それ以外の数であってもよいし、破線モードの場合とフレーム加算モードの場合とが同じ数であってもよい。
【００６２】
また、上記実施例においては、Ｓ３０における第１のしきい値として３を設定し、Ｓ３２における第２のしきい値として５を設定しているが、第２のしきい値が第１のしきい値よりも大きく設定されていれば、当然これら以外の値を採用することもできる。
【００６３】
また、上記実施例においては、Ｓ２０におけるフレーム加算時にエッジ点を移動させる方向は車両の進行方向と直交する方向である構成を例示したが、車両の進行方向と同一の方向ではなく交差する方向であれば、車両の進行方向の直交方向に限られない。例えば区画線と直交する方向にエッジ点を移動させる構成であってもよい。
【００６４】
また、上記実施例においては、図３から図５において、破線に基づいてエッジ線を抽出し、そのエッジ線から区画線を検出する構成を例示したが、破線以外に基づいて区画線を検出することも当然可能である。破線以外には、実線からなるペイント線や、ボッツドッツ，キャッツアイ，道路鋲などの区画線構成物から区画線を検出することができる。
【符号の説明】
【００６５】
１…車線逸脱警報システム、１０…車内ネットワーク、１２…画像センサ、１４…ブザー、２０…ヨーセンサ、２２…車速センサ、３０…カメラ、３２…画像処理ＥＣＵ、４０…車両、４２…区画線、４４…破線、４４ａ…破線、４４ｂ…破線
【技術分野】
【０００１】
本発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。
【背景技術】
【０００２】
従来、車両前方の路面を撮影した路面画像を画像処理して区画線を検出する区画線検出装置が提案されている。区画線とは、車両の走行車線などを区切る線であって、走行車線に沿って配置される実線や破線からなる白線等のペイント、または走行車線に沿って間欠的に配置される道路鋲などによって構成される。
【０００３】
区画線検出装置は、白線等のペイントや道路鋲などを示すエッジ点を抽出し、抽出された複数のエッジ点に基づいて区画線を検出する。区画線検出装置によって検出された区画線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が区画線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
【０００４】
ところで、上記区画線が、ペイント長さが短くギャップが長い破線や、点在する道路鋲などによって構成されている場合、路面画像における画像処理範囲内にそれら区画線の構成物が十分に入らず、区画線が正しく認識できない場合がある。
【０００５】
そこで、従来、過去の路面画像を最新のフレームに重ねて（フレームを加算して）、その重ねたフレームから区画線を検出する道路区画線検出装置が提案されている（特許文献１参照）。この装置は、区画線の構成物の数（エッジ点の数）を増やすことで、区画線の検出精度を上げることを目的としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３５０５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１に記載の装置では、カメラが撮影した画像からエッジ点を抽出し、そのエッジ点を適宜結ぶことで線状のエッジ線（区画線）を生成する。しかしながら、フレームの加算は、１つのフレームのエッジ点から線状のエッジ線を生成できないときに限り行うように構成されているため、エッジ点の抽出量が十分でない場合であっても、エッジ線が生成できればフレームの加算を行わず、少ないエッジ点に基づいてエッジ線が生成された場合にその検出精度が落ちてしまうという問題があった。
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、その目的は、高い精度で区画線を検出する区画線検出装置を提供することである。
【課題を解決するための手段】
【０００９】
上述した問題を解決するためになされた請求項１に記載の発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。この区画線検出装置は、路面画像を繰り返し取得して、その取得された路面画像からエッジ点を抽出し、抽出されたエッジ点に基づいて、区画線を検出する。そして、１つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出することを特徴とする。
【００１０】
このように構成された区画線検出装置では、１つのフレームの路面画像（以降、単にフレームという場合がある）に基づいて検出された区画線上に位置するエッジ点が所定のしきい値よりも少ない場合、即ち、少ないエッジ点によって区画線が検出されていて、区画線が正確に検出されていない可能性が高い場合には、複数のフレームに基づいて区画線を検出する。そのため、高い精度で区画線を検出することができる。
【００１１】
また、区画線上に所定のしきい値よりも多くのエッジ点が検出されており、区画線が正確に検出されていることが期待できる場合には、１つのフレームから区画線を検出するため、不必要な処理を行うことなく処理負荷を低減することができる。
【００１２】
上述した「区画線上に位置するエッジ点」とは、例えば、路面画像における複数のエッジ点に基づいて抽出されたエッジ線（区画線）から所定の距離以内に存在するエッジ点を上記エッジ点とすることが考えられる。また、ハフ変換を行う場合にはエッジ線に投票したエッジ点を上記エッジ点としてもよい。
【００１３】
なお、複数のフレームに基づいて区画線を検出することは、区画線上のエッジ点の数が少ない場合に限られない。例えば、請求項２に記載の区画線検出装置のように、１つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
【００１４】
このように構成された区画線検出装置であれば、１つのフレームに基づいて区画線が検出できない場合であっても、複数のフレームを用いることによって区画線を検出できるようになる。従って、区画線上のエッジ点の数が少ない場合のみでなく、広く必要な場面において複数のフレームに基づく区画線検出ができるようになる。
【００１５】
上記区画線上のエッジ点が少ない場合と、区画線が検出できない場合と、で同じ数のフレームを用いて区画線を検出してもよいが、フレームの数を変更してもよい。例えば、請求項３に記載の区画線検出装置のように、１つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、１つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合よりも多くの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
【００１６】
このように構成された区画線検出装置であれば、１つのフレームに基づいて区画線を検出できないとき、即ちエッジ点の不足度合が大きい場合には比較的多数のフレームからエッジ点を抽出する一方、１つのフレームに基づいて区画線が検出できるとき、即ちエッジ点の不足度合が比較的小さい場合には比較的少数のフレームからエッジ点を抽出する。
【００１７】
従って、エッジ点の不足度合に応じて適切な数のフレームを加算することができるため、エッジ点が非常に不足している場合において少数のフレームしか加算せずにエッジが不足して区画線の検出精度が低くなってしまうことや、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。
【００１８】
ところで、フレームを加算するにあたって、車両が区画線に沿って走行している場合には、区画線と路面画像との位置関係が一定であるため、フレームを単純に重ねることで適当な位置にエッジ点を増加させることができるが、車両の進行方向と区画線とが交差している場合のように、車両が移動すると区画線と路面画像との位置関係が変化する場合には、フレームを単純に重ねると、加えられたフレームのエッジ点の位置が適切な位置とならない場合がある。
【００１９】
そこで、請求項４に記載の区画線検出装置のように構成してもよい。この区画線検出装置は、検出された区画線と、車両の進行方向と、がなす角度を検出する機能、および、１つのフレームの路面画像を取得したときからの走行距離を取得する機能を有している。そして、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するときには、上述した角度および走行距離に基づいて、車両の進行方向と交差する方向に対する、区画線の車両を基準とする移動量を算出し、算出された移動量に応じて、複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて区画線を検出することを特徴とする。
【００２０】
このように構成された区画線検出装置であれば、車両の進行方向と区画線とが交差している場合であっても、加算したフレームのエッジ点の位置を適切な位置とすることができるため、高い精度で区画線を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】車線逸脱警報システムの構成を示すブロック図である。
【図２】画像処理ＥＣＵによる逸脱警報処理の処理手順を示すフローチャートである。
【図３】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【図４】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【図５】路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
【発明を実施するための形態】
【００２２】
以下に本発明の実施形態を図面と共に説明する。ただし、以下に説明する実施形態は、あくまでも例示にすぎず、本発明が、下記の事例以外にも様々な形態で実施できるのはもちろんである。
［実施例］
（１）車線逸脱警報システム１の構成
車線逸脱警報システム１は、自動車等の車両に搭載されて用いられる装置であって、図１に示すように、ＣＡＮによる車内ネットワーク１０と、画像センサ１２と、ブザー１４と、を有している。
【００２３】
車内ネットワーク１０は、車両の旋回方向への角速度（即ち、ヨーレート）を検出するヨーセンサ２０と、車両の走行速度を検出する車速センサ２２と、を有している。
画像センサ１２は、カメラ３０と、カメラ３０が撮影した画像を処理し、ブザー１４にブザー要求の制御信号を出力する画像処理ＥＣＵ３２と、からなる。なお、この画像処理ＥＣＵ３２が本発明における区画線検出装置に相当する。
【００２４】
カメラ３０は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔（本実施例では１／１０ｓ）で繰り返し撮影して、その路面画像のデータ（以降、当該データを路面画像という場合がある）を画像処理ＥＣＵ３２に出力するものである。カメラ３０としては、例えば可視画像を取得することができるＣＣＤカメラや撮像管を用いたカメラ、または赤外線画像を取得することができる赤外線カメラなどを用いることができる。
【００２５】
画像処理ＥＣＵ３２は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，入出力インターフェース，およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
【００２６】
画像処理ＥＣＵ３２は、ＲＯＭから読み込んだアプリケーションプログラムやＲＡＭに格納された各種データに従って、後述する逸脱警報処理などを実行する
また画像処理ＥＣＵ３２は車内ネットワーク１０と接続しており、ヨーセンサ２０および車速センサ２２と通信して各センサの出力値を取得する。
【００２７】
また画像処理ＥＣＵ３２はブザー１４と接続しており、逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。
ブザー１４は、画像処理ＥＣＵ３２より上記制御信号を受信すると、車両内部に警報音を発報させる。
（２）画像処理ＥＣＵ３２による処理
以下に、画像処理ＥＣＵ３２により実行される逸脱警報処理の処理手順を、図２に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ１２に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
【００２８】
この逸脱警報処理では、まず、路面画像のデータをカメラ３０から取得する（Ｓ１０）。
次に、Ｓ１０にて取得した路面画像に基づいてエッジ点を抽出する（Ｓ１２）。エッジ点を抽出する具体的な手法は特に限定されないが、路面画像から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。
【００２９】
次に、動作モードが破線モード，またはフレーム加算モードであるか否かを判断する（Ｓ１４）。画像処理ＥＣＵ３２の動作モードは、通常モード，破線モード，フレーム加算モードのいずれかであって、以降の処理（Ｓ２８、Ｓ３４、Ｓ３６）において設定される。動作モードによって路面画像から区画線を検出するための具体的な処理が変更されるが、詳細は後述する。なお、初期状態では通常モードとして設定される。
【００３０】
このＳ１４においては、動作モードが破線モード，フレーム加算モードのいずれでもなければ（Ｓ１４：ＮＯ）、即ち動作モードが通常モードに設定されていれば、処理がＳ２２に移行する。一方、破線モード，フレーム加算モードのいずれかであれば（Ｓ１４：ＹＥＳ）、処理がＳ１６に移行する。
【００３１】
次に、前回のフレームにて検出したエッジ線が傾いているか否かを判定する（Ｓ１６）。前回のフレームとは、路面画像の最新フレームを取得した直前のＳ１０のさらに１回前のＳ１０の処理にて取得された、最新フレームの１つ過去に撮影されたフレームである。
【００３２】
上記路面画像は、直前のＳ２２（逸脱警報処理全体がループする前のＳ２２）においてエッジ線が抽出されている。ここではまず、その既に抽出されたエッジ線と、車両の進行方向と、がなす角度を測定する。この角度は、路面画像におけるエッジ線の位置から求めることができる。そして、測定された角度が所定の角度（例えば５°）以上傾いていたときに、エッジ線が傾いていると判定する。
【００３３】
所定の角度以上エッジ線が傾いていなければ（Ｓ１６：ＮＯ）、傾きを考慮しない通常のフレーム加算処理を行う（Ｓ１８）。
図３に、本実施例の車線逸脱警報システム１においてカメラ３０が撮影した、時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図３（Ａ）は路面画像が撮影されたタイミングにおける車両４０の周囲の状況を示しており、図３（Ｂ）はその次のフレームが撮影されたタイミングの状況を示している。なお区画線４２は説明のために記載した線であって、実際の道路上に存在する線ではない。
【００３４】
車両４０が道路上の区画線に沿って走行している場合には、車両４０と区画線４２との位置関係は変化しない。よって、図３（Ａ）における区画線４２を構成する破線４４は、図３（Ｂ）に示す破線４４ａのように、車両４０の進行方向と反対向きに移動するものの、区画線４２上に位置している。
【００３５】
ここで、２つのフレームを重ねて、図３（Ｂ）における図３（Ａ）の破線４４と同じ位置に破線４４ｂを重ね合わせると、破線４４ａと破線４４ｂとがいずれも区画線４２上に正しく配置されることとなる。よって、破線４４ａおよび破線４４ｂのエッジ点を用いてエッジ線を抽出することで、区画線４２を高い精度で検出することができる。
【００３６】
上述した手法を用いるために、Ｓ１８では、直前のＳ１２にて抽出されたエッジ点と、過去のＳ１２において抽出された過去のフレームのエッジ点と、を重ね合わせる（以降、この処理を、フレーム加算ともいう）。なお、動作モードが破線モードのときには、過去１フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去２フレーム分のエッジ点を重ね合わせる。その後、処理がＳ２２に移行する。
【００３７】
また、上記Ｓ１６において所定の角度以上エッジ線が傾いていれば（Ｓ１６：ＹＥＳ）、傾きを考慮したフレーム加算処理を行う（Ｓ２０）。
図４および図５に、車両４０が道路上の区画線と交差する方向に走行する場合において、カメラ３０が撮影した時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図４（Ａ）は路面画像が撮影されたタイミングにおける車両４０の周囲の状況を示しており、図４（Ｂ）はその次のフレームが撮影されたときの状況を示している。
【００３８】
車両４０が道路上の区画線と交差する方向に走行する場合、図４（Ａ）における区画線４２を構成する破線４４は、車両４０の進行方向と反対向きに移動して、図４（Ｂ）に示す破線４４ａの位置となる。
【００３９】
このとき、図４（Ｂ）において、図４（Ａ）の破線４４と同じ位置に破線４４ｂを重ね合わせると、破線４４ａと破線４４ｂと同一の区画線４２上に存在しなくなる。
そこで、このＳ２０では、図５（Ａ）、（Ｂ）に示す手法により、破線４４ａと破線４４ｂとのずれがなくなるように重ねるエッジ点の位置を修正する。本実施例では、破線４４ａを車両４０の進行方向と直交する方向に移動量Ｂだけ移動させる。この移動量Ｂは、車両４０が図５（Ａ）のタイミングから図５（Ｂ）のタイミングまで走行する間に、車両４０の進行方向と直交する方向に対する区画線４２の車両４０を基準とする移動量（距離）であって、車両４０が上記期間に進んだ距離Ｄと、車両４０の進行方向と区画線４２とのなす傾きの角度Ａと、から、以下の式にて算出することができる。
【００４０】
Ｂ＝ＤｔａｎＡ
上述した手法を用いるために、このＳ２０では、直前のＳ１２にて抽出された最新フレームのエッジ点と、過去のＳ１２において抽出された過去のフレームのエッジ点を移動量Ｂ移動させたものと、を重ね合わせる。
【００４１】
具体的には、距離Ｄは、過去フレームを撮影してから最新フレームを撮影するまでの時間と、車速センサ２２から取得した走行速度と、に基づいて算出できる。また、角度ＡはＳ１６にて求めた角度である。
【００４２】
なお、動作モードが破線モードのときには、過去１フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去２フレームのエッジ点を重ね合わせる。その後、処理がＳ２２に移行する。
【００４３】
続いて、エッジ線の抽出を行う（Ｓ２２）。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。通常モードの場合にはＳ１２にて抽出したエッジ点を用い、破線モードおよびフレーム加算モードではＳ１８またはＳ２０にてフレーム加算したエッジ点を用いる。なお、このＳ２２にて抽出されたエッジ線が区画線となる。
【００４４】
次に、警報処理を行う（Ｓ２４）。ここでは、まず、算出した区画線の位置に基づき車両から区画線までの距離を算出する。
次に、ヨーセンサ２０から取得したヨーレートおよび車速センサ２２から取得した車両速度に基づいて、車両の走行軌跡を予測する。次に、算出した区画線の位置と、車両から区画線までの距離と、予測した走行軌跡と、に基づいて車両が区画線を逸脱するまでに要する時間を算出する。
【００４５】
そして、算出した区画線を逸脱するまでの時間が所定のしきい値（本実施例では１秒）以上であれば、逸脱しないと判定し、警報動作を行わず処理がＳ２６に移行する。一方、しきい値未満であれば、逸脱の危険ありと判定し、ブザー１４に対してブザー要求の制御信号を出力する。その後、処理がＳ２６に移行する。
【００４６】
次に、Ｓ２２のエッジ線を抽出する処理によって、エッジ線が存在するか否かを判断する（Ｓ２６）。本実施例ではエッジ点をハフ変換することでエッジ線を抽出しているが、エッジ点が少ない場合など、エッジ線が抽出できない場合がある。
【００４７】
Ｓ２６においてエッジ線が存在していなければ（Ｓ２６：ＮＯ）、即ち直線を認識できるように適当にエッジ点が検出されておらず、Ｓ２２にてエッジ線の抽出が不可能であれば、動作モードを「フレーム加算モード」に設定し（Ｓ２８）、処理がＳ１０に戻る。
【００４８】
また、エッジ線が存在していれば（Ｓ２６：ＹＥＳ）、即ち直線を認識できるように適当にエッジ点が検出されており、Ｓ２２にてエッジ線の抽出ができていれば、処理がＳ３０に移行する。
【００４９】
次に、エッジ線上のエッジ点数が第１のしきい値（本実施例においては、３点）以上であるか否かを判断する（Ｓ３０）。ここでは、Ｓ２２にて抽出したエッジ線上に、直前のＳ１０にて取得された路面画像に基づくエッジ点がいくつ存在するかをカウントする。Ｓ１８，Ｓ２０においてフレーム加算した過去フレームのエッジ点はカウントしない。
【００５０】
なお、エッジ点がエッジ線上にあるか否かの判断は、そのエッジ点がエッジ線から所定の距離以内に存在するか否かにより判断する。なお、Ｓ２２にて抽出されたエッジ線に対してハフ変換時に投票したエッジ点を、上記エッジ線上にあるエッジ点と判断してもよい。
【００５１】
エッジ点の数が第１のしきい値以上でなければ（Ｓ３０：ＮＯ）、動作モードを「フレーム加算モード」に設定し（Ｓ２８）、処理がＳ１０に戻る。一方、エッジ点の数が第１のしきい値以上であれば（Ｓ３０：ＹＥＳ）、処理がＳ３２に移行する。
【００５２】
なお、上記第１のしきい値は、動作モードを「フレーム加算モード」から「破線モード」または「通常モード」に再設定する際の判断基準となる値である。よって、その値は少なくともエッジ点が検出可能となる値に設定しておくことが好ましい。
【００５３】
次に、エッジ線上のエッジ点数が第２のしきい値（本発明における所定のしきい値に対応するしきい値であって、本実施例においては５点）以上であるか否かを判断する（Ｓ３２）。ここでは、上記Ｓ３０の処理と同様に、直前のＳ１０にて取得された路面画像に基づくエッジ点のみをカウントする。
【００５４】
エッジ点の数が第２のしきい値以上であれば（Ｓ３２：ＹＥＳ）、動作モードを「通常モード」に設定し（Ｓ３４）、処理がＳ１０に戻る。また、エッジ点の数が第２のしきい値以上でなければ（Ｓ３２：ＮＯ）、動作モードを「破線モード」に設定し（Ｓ３６）、処理がＳ１０に戻る。
（３）発明の効果
このように構成された車線逸脱警報システム１では、逸脱警報処理のＳ１０にて取得された１フレームの路面画像から抽出されたエッジ点が、エッジ線（区画線）上に第２のしきい値以上ある場合（Ｓ３２においてＹＥＳとなる場合）を除く広い場合において、複数のフレームの路面画像に基づいて区画線を検出する。
【００５５】
従って、区画線が破線やボッツドッツなどの間欠的に配置されるものから構成されているなどの理由により、１フレームからはエッジ点が十分に検出されていない場合であっても、複数フレームに基づく多数のエッジ点から高い精度で区画線を検出することができる。
【００５６】
また、区画線上のエッジ点の数が第２のしきい値以上ある場合は、１フレームにて区画線を正確に検出することが期待できるためフレームを加算する処理を実行せず、処理負荷を低減することができる。
【００５７】
また、上記車線逸脱警報システム１では、破線モードの場合とフレーム加算モードの場合とで加算するフレーム数を変更している。エッジ点の不足度合が比較的小さい破線モードの場合には、加算するフレーム数が少ないため、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。また、エッジ点の不足度合が大きいフレーム加算モードの場合には、加算するフレーム数が多いため、フレーム数が不足して区画線の検出精度が低くなってしまうことを抑制できる。
【００５８】
また、上記車線逸脱警報システム１では、エッジ線が車両の進行方向から所定の角度以上傾いている場合には、その傾きを考慮したフレーム加算を行うため、加算したフレームのエッジ点の位置が適切な位置となり、高い精度で区画線を検出することができる。
（４）対応関係
画像処理ＥＣＵ３２により実行されるＳ１０の処理が、本発明の画像取得手段による処理に相当し、Ｓ１２の処理がエッジ抽出手段による処理に相当し、Ｓ１８〜Ｓ２２の処理が検出手段による処理に相当し、Ｓ１６において区画線と車両の進行方向とがなす角度を検出する処理が角度検出手段による処理に相当し、Ｓ２０において距離Ｄを算出する処理が走行距離取得手段による処理に相当する。
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００５９】
例えば、上記実施例においては、逸脱警報処理のＳ１８およびＳ２０において、フレーム加算を行う際には、過去フレームのエッジ点のみを重ねる構成を例示したが、路面画像自体を重ねる構成であってもよい。Ｓ２０においては、算出した移動量Ｂの分だけ路面画像をずらして重ねる構成とすることが考えられる。
【００６０】
また、上記実施例においては、エッジ線を抽出するための数学的手法としてハフ変換処理を行っているが、それ以外の処理や手法によってエッジ線を抽出する構成であってもよい。
【００６１】
また、上記実施例においては、加算するフレームの数を、破線モードの場合に１、フレーム加算モードの場合に２、と設定されている構成を例示したが、それ以外の数であってもよいし、破線モードの場合とフレーム加算モードの場合とが同じ数であってもよい。
【００６２】
また、上記実施例においては、Ｓ３０における第１のしきい値として３を設定し、Ｓ３２における第２のしきい値として５を設定しているが、第２のしきい値が第１のしきい値よりも大きく設定されていれば、当然これら以外の値を採用することもできる。
【００６３】
また、上記実施例においては、Ｓ２０におけるフレーム加算時にエッジ点を移動させる方向は車両の進行方向と直交する方向である構成を例示したが、車両の進行方向と同一の方向ではなく交差する方向であれば、車両の進行方向の直交方向に限られない。例えば区画線と直交する方向にエッジ点を移動させる構成であってもよい。
【００６４】
また、上記実施例においては、図３から図５において、破線に基づいてエッジ線を抽出し、そのエッジ線から区画線を検出する構成を例示したが、破線以外に基づいて区画線を検出することも当然可能である。破線以外には、実線からなるペイント線や、ボッツドッツ，キャッツアイ，道路鋲などの区画線構成物から区画線を検出することができる。
【符号の説明】
【００６５】
１…車線逸脱警報システム、１０…車内ネットワーク、１２…画像センサ、１４…ブザー、２０…ヨーセンサ、２２…車速センサ、３０…カメラ、３２…画像処理ＥＣＵ、４０…車両、４２…区画線、４４…破線、４４ａ…破線、４４ｂ…破線
【特許請求の範囲】
【請求項１】
車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置であって、
前記路面画像を繰り返し取得する画像取得手段と、
前記画像取得手段により取得された前記路面画像からエッジ点を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記区画線を検出する検出手段と、を備え、
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする区画線検出装置。
【請求項２】
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項１に記載の区画線検出装置。
【請求項３】
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、１つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合よりも多くの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項２に記載の区画線検出装置。
【請求項４】
前記検出手段により検出された区画線と、前記車両の進行方向と、がなす角度を検出する角度検出手段と、
１つのフレームの前記路面画像を取得したときからの走行距離を取得する走行距離取得手段と、を備え、
前記検出手段は、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出するときには、
前記角度検出手段により検出された角度と、前記走行距離取得手段により取得された走行距離と、に基づいて、前記車両の進行方向と交差する方向に対する前記区画線の前記車両を基準とする移動量を算出し、
前記算出された移動量に応じて、前記複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の区画線検出装置。
【請求項１】
車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置であって、
前記路面画像を繰り返し取得する画像取得手段と、
前記画像取得手段により取得された前記路面画像からエッジ点を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記区画線を検出する検出手段と、を備え、
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする区画線検出装置。
【請求項２】
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項１に記載の区画線検出装置。
【請求項３】
前記検出手段は、１つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、１つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合よりも多くの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項２に記載の区画線検出装置。
【請求項４】
前記検出手段により検出された区画線と、前記車両の進行方向と、がなす角度を検出する角度検出手段と、
１つのフレームの前記路面画像を取得したときからの走行距離を取得する走行距離取得手段と、を備え、
前記検出手段は、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出するときには、
前記角度検出手段により検出された角度と、前記走行距離取得手段により取得された走行距離と、に基づいて、前記車両の進行方向と交差する方向に対する前記区画線の前記車両を基準とする移動量を算出し、
前記算出された移動量に応じて、前記複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて前記区画線を検出する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の区画線検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１８０９８２（Ｐ２０１１−１８０９８２Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４６６６４（Ｐ２０１０−４６６６４）
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月３日（２０１０．３．３）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]