区画線認識システム、区画線認識方法、及び区画線認識プログラム
【課題】路面上の区画線を高精度に認識すること。
【解決手段】区画線認識システムは、自車の車速を検出する車速検出手段と、自車のヨーレートを検出するヨーレート検出手段と、路面の原画像を入力する画像入力手段と、複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、合成鳥瞰画像に、合成鳥瞰画像を生成したときの車速とヨーレートとを関連付ける合成鳥瞰画像生成手段と、原画像および合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、合成鳥瞰画像と関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、直線区間毎に区画線候補を認識し、認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を備えている。
【解決手段】区画線認識システムは、自車の車速を検出する車速検出手段と、自車のヨーレートを検出するヨーレート検出手段と、路面の原画像を入力する画像入力手段と、複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、合成鳥瞰画像に、合成鳥瞰画像を生成したときの車速とヨーレートとを関連付ける合成鳥瞰画像生成手段と、原画像および合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、合成鳥瞰画像と関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、直線区間毎に区画線候補を認識し、認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面上の区画線を高精度に認識できる区画線認識システム、区画線認識方法、及び区画線認識プログラムに関するものである。
【背景技術】
【０００２】
近年、カーナビゲーションなどにおいて、正確なナビゲーションを実行するために、自車位置を正確に把握することは重要な課題となっている。例えば、ＧＰＳや周辺画像解析などを用いて、自車位置情報の精度向上策が図られている。ここで、周辺画像の解析については、フレーム毎の画像認識や時系列毎の画像を組み合わせた合成鳥瞰画像を用いた認識技術などが存在する。
【０００３】
一方、複数の異なる時刻における原画像を基に合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、原画像から区画線候補を検出する区画線候補検出手段と、合成鳥瞰画像において区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を有する車線認識装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６９５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、上記特許文献１に示す車線認識装置において、車線変更時に路面の区画線を認識する場合を想定する。まず、車両が直進している時は（図７（ａ））、合成鳥瞰画像上で区画線は略垂直となり（図７（ｂ））、直線近似による推測が可能となるため、精度よく区画線を認識することができる。また、高速走行時における車線変更では（図８（ａ））、急激に車線変更を行うと危険なため、時間当たりの横移動量が小さく抑えられる。したがって、上記同様に、区画線は略直線近似による推測が可能となるため（図８（ｂ））、精度よく区画線を認識することができる。
【０００６】
しかしながら、低速走行時における車線変更では（図９（ａ））、時間当たりの横方向の移動量が大きいため、区画線が合成鳥瞰画像上で直線状にならない。したがって、区画線が合成鳥瞰画像上で１本の直線で近似することが困難となるため（図９（ｂ））、区画線の認識精度が低下する可能性がある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、自車の車速を検出する車速検出手段と、自車のヨーレートを検出するヨーレート検出手段と、路面の原画像を入力する画像入力手段と、前記画像入力手段により入力された複数の異なる時刻における前記原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときの前記車速検出手段により検出された前記車速と、前記ヨーレート検出手段により検出された前記ヨーレートと、を関連付ける合成鳥瞰画像生成手段と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記区画線候補検出手段により検出された前記区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を備える、ことを特徴とする区画線認識システムである。
【０００８】
この一態様によれば、路面上の区画線を高精度に認識することができる。
【０００９】
また、本発明の一態様は、自車の車速を検出する工程と、自車のヨーレートを検出する工程と、路面の原画像を入力する工程と、前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける工程と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する工程と、前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する工程と、を含む、ことを特徴とする区画線認識方法であってもよい。
【００１０】
さらに、本発明の一態様は、自車の車速を検出する処理と、自車のヨーレートを検出する処理と、路面の原画像を入力する処理と、前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける処理と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する処理と、 前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する処理と、をコンピュータに実行させる区画線認識プログラムであってもよい。
【発明の効果】
【００１１】
本発明によれば、路面上の区画線を高精度に認識できる区画線認識システム、区画線認識方法、及び区画線認識プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係る区画線認識システムの概略的な構成を示すブロック図である。
【図２】本発明の一実施の形態に係る区画線認識システムの制御装置の概略的なシステム構成を示すブロック図である。
【図３】（ａ）時刻Ｔ−１の時点での画像入力装置により入力された原画像の一例を示す図である。（ｂ）時刻Ｔの時点での画像入力装置により入力された原画像の一例を示す図である。（ｃ）時刻Ｔ−１の時点で図３（ａ）の原画像から生成された鳥瞰画像の一例を示す図である。（ｄ）図３（ｃ）の鳥瞰画像の画素を、時刻Ｔ−１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。（ｅ）図３（ｂ）を鳥瞰画像化して得られた画像と、図３（ｄ）の画像と、を合成した合成鳥瞰画像の一例を示す図である。
【図４】本発明の一実施の形態に係る区画線候補検定部による区画線候補の角度判定及び区画線候補の線種判定の処理フローの一例を示すフローチャートである。
【図５】合成鳥瞰画像に設定された探索区間の一例を示す図である。
【図６】合成鳥瞰画像内における区画線候補の位置の一例を示す図である。
【図７】（ａ）車両が直進している状態の一例を示す上面図である。（ｂ）車両が直進状態のときの合成鳥瞰画像上の区画線を示す図である。
【図８】（ａ）車両が高速走行で車線変更しているときの状態の一例を示す上面図である。（ｂ）高速走行時の車線変更における合成鳥瞰画像上の区画線を示す図である。
【図９】（ａ）車両が低速走行で車線変更しているときの状態の一例を示す上面図である。（ｂ）低速走行時の車線変更における合成鳥瞰画像上の区画線を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係る区画線認識システムの概略的な構成を示すブロック図である。区画線認識システム１０は、制御装置１と、画像入力装置２と、車速センサ３と、ヨーレートセンサ４と、を備えている。
【００１４】
制御装置１は、例えば、制御処理、演算処理等と行うＣＰＵ（Central Processing Unit）１ａ、ＣＰＵ１ａによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）１ｂ、処理データ等を記憶するＲＡＭ（Random Access Memory）１ｃ等からなるマイクロコンピュータを中心にして、ハードウェア構成されている。
【００１５】
画像入力装置２は、路面等に形成された区画線を撮影することができるカメラなどの撮影装置によって構成されており、区画線を含む撮影画像が入力される。以下、画像入力装置２から入力された撮影画像を原画像と称す。画像入力装置２は、例えば、自動車などの車両に取り付けられる。以下、画像入力装置２が取り付けられた車両を自車と称す。
【００１６】
制御装置１を自車に搭載して、画像入力装置２と制御装置１との間の接続を有線接続としてもよい。また、制御装置１を自車に搭載せず、画像入力装置２と制御装置１との間の接続を無線接続としてもよい。画像入力装置２は、カメラ等により撮影された原画像を、後述の合成鳥瞰画像生成部１１に対して出力する。
【００１７】
車速センサ３は、車速検出手段の一具体例であり、自車の車速を検出することができる。車速センサ３は、例えば、自車の車輪速度を検出できる回転センサ等を用いて車速を検出する。車速センサ３は、制御装置１に接続されており、検出した車速を制御装置１に対して出力する。
【００１８】
ヨーレートセンサ４は、ヨーレート検出手段の一具体例であり、例えば、自車に取り付けられたジャイロセンサ等を用いて、自車のヨーレートを検出することができる。ヨーレートセンサ４は、制御装置１に接続されており、検出した自車のヨーレートを制御装置１に対して出力する。
【００１９】
図２は、本実施の形態に係る区画線認識システムの制御装置の概略的なシステム構成を示すブロック図である。制御装置１は、合成鳥瞰画像生成部１１と、区画線候補検出部１２と、区画線候補検定部１３と、区画線位置推定部１４と、区画線位置出力部１５と、を有している。
【００２０】
合成鳥瞰画像生成部１１は、合成鳥瞰画像生成手段の一具体例であり、画像入力装置２のカメラ等によって複数の異なる時刻において撮影された原画像を合成して、各フレーム毎に合成鳥瞰画像を生成する。ここで、合成鳥瞰画像生成部１１は、図３（ａ）乃至（ｅ）に示すようにして、合成鳥瞰画像の生成を行う。なお、本実施の形態において、鳥瞰画像とは、例えば、原画像に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像に変換したものである。また、鳥瞰画像化とは、原画像をそのような画像に変換することを指す。
【００２１】
合成鳥瞰画像生成部１１は、複数の異なる時刻において撮影された原画像を用い、それぞれの原画像の部分領域を鳥瞰画像化した部分鳥瞰画像をつなぎ合わせて、合成鳥瞰画像を生成する。図３（ａ）乃至（ｅ）に示した例において、画像入力装置２は、自車の進行方向と反対向きに設置され、自車の後ろ方向を撮影している。
【００２２】
図３（ａ）は時刻Ｔ−１の時点での原画像を示し、図３（ｂ）は時刻Ｔの時点での原画像を示している。図３（ｂ）の下部には、時刻Ｔ−１では撮影されておらず、時刻Ｔで始めて原画像の撮影範囲に入った部分が斜線部として示されている（これを手前領域３１と称す）。なお、図３（ａ）および（ｃ）中の矢印は、自車の進行方向を表す。
【００２３】
図３（ｃ）は、時刻Ｔ−１の時点において図３（ａ）の原画像から生成された鳥瞰画像である。図３（ｄ）は、図３（ｃ）の鳥瞰画像の画素を、時刻Ｔ−１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。図３（ｃ）の鳥瞰画像には、図３（ｂ）の手前領域３１に該当する部分は含まれていないため、図３（ｄ）の画像では手前領域３１に対応する部分は空白部３２となっている。
【００２４】
ここで、合成鳥瞰画像生成部１１は、図３（ｂ）を鳥瞰画像化して得られた画像と、図３（ｄ）の画像と、を合成することにより、図３（ｄ）の空白部３２（図３（ｂ）の手前領域３１に対応する部分）を埋めて、図３（ｅ）の合成鳥瞰画像を生成する。なお、上記合成鳥瞰画像の生成方法は、特許文献１に開示されており、その生成方法を援用することができる。
【００２５】
また、合成鳥瞰画像生成部１１は、自車が１ｍ走行する毎に、１ライン分の高さ（縦長さ）の画像を作成するように合成鳥瞰画像を生成する。例えば、自車が１００ｍ走行する場合、合成鳥瞰画像生成部１１は、１００ライン分の合成鳥瞰画像を生成する。
【００２６】
さらに、合成鳥瞰画像生成部１１は、生成した合成鳥瞰画像に、この合成鳥瞰画像を生成したときに車速センサ３により検出された自車の車速と、ヨーレートセンサ４により検出された自車のヨーレートと、を関連付ける。合成鳥瞰画像生成部１１は、生成した合成鳥瞰画像と、この合成鳥瞰画像に関連付けられた車速及びヨーレートと、を区画線候補検定部１３に対して出力する。
【００２７】
区画線候補検出部１２は、区画線候補検出手段の一具体例であり、画像入力装置２のカメラ等により撮影された原画像を用いて、区画線の候補となる区画線候補の位置を検出する。なお、区画線候補検出部１２は、合成鳥瞰画像生成部１１により生成された合成鳥瞰画像を用いて区画線候補の位置を検出してもよい。
【００２８】
区画線候補検出部１２は、画像入力装置２からの原画像において、例えば、原画像の階調数が２５６であれば輝度値２００以上の画素を前景とし、それ以外の画素を背景とする、というように原画像を前景と背景とに２値化する。そして、区画線候補検出部１２は、その２値化した原画像において前景とされた画素を基に、公知のハフ(Hough)変換により直線を検出し、それら検出した直線を区画線候補とする。区画線候補検出部１２は、検出した区画線候補を区画線候補検定部１３に出力する。
【００２９】
区画線候補検定部１３は、区画線候補検定手段の一具体例であり、区画線候補検出部１２において検出された区画線候補について、合成鳥瞰画像生成部１１において生成された合成鳥瞰画像内の区画線候補の位置及び線種を判定し、区画線候補を認識する。そして、区画線候補検定部１３は、認識した区画線候補が区画線として適しているか否かを検定する。
【００３０】
区画線候補検定部１３は、例えば、合成鳥瞰画像上において認識された区画線候補の位置もしくはその周辺における画素値に基づいて、区画線候補が区画線として適しているか否かを検定する。より具体的には、区画線候補検定部１３は、後述の合成鳥瞰画像内の画素値の和が予め設定された閾値以上であるとき、対応する区画線候補が区画線として適していると検定してもよい。
【００３１】
区画線位置推定部１４は、区画線候補検定部１３において区画線として適していると検定された区画線候補の位置に基づいて、現時刻の区画線の位置を推定する。また、区画線位置出力部１５は、区画線位置推定部１４において推定された現時刻の区画線の位置を、ディスプレイなどの表示装置やプリンタ等に出力する。
【００３２】
ところで、低速走行時における車線変更においては（図９（ａ））、時間当たりの横方向の移動量が大きいため、区画線が合成鳥瞰画像上で直線状にならない。したがって、従来の区画線認識システムにおいて、区画線が合成鳥瞰画像上で１本の直線で近似することが困難となるため（図９（ｂ））、区画線の認識精度が低下する可能性がある。
【００３３】
そこで、本実施の形態に係る区画線認識システム１０において、合成鳥瞰画像と関連付けられた車速およびヨーレートに基づいて、合成鳥瞰画像内で車両の直進区間を抽出し、該直線区間毎に区画線候補の直線近似を行い、直線近似した各区画線候補を組み合わせて区画線候補の全体を認識する。これにより、低速走行時の車線変更においても、合成鳥瞰画像の区画線を１本の直線に近似して認識することができる。すなわち、低速走行時の車線変更等において、路面上の区画線を高精度に認識することができる。
【００３４】
次に、区画線候補検定部１３による区画線候補の位置及び線種の判定し、区画線候補を認識する方法について、詳細に説明する。図４は、本実施形態に係る区画線候補検定部による区画線候補の角度判定及び区画線候補の線種判定の処理フローの一例を示すフローチャートである。
【００３５】
まず、区画線候補検定部１３は、合成鳥瞰画像生成部１１からの合成鳥瞰画像と、この合成鳥瞰画像に関連付けられた車速及びヨーレートと、に基づいて、合成鳥瞰画像上で自車が略直進した直進区間を抽出し、抽出した直進区間を、図５に示すように合成鳥瞰画像上の探索区画Ｈ１〜Ｈ３として設定する（ステップＳ１０１）。
【００３６】
ここで、区画線候補検定部１３は、合成鳥瞰画像に関連付けられたヨーレートが予め設定された閾値（例えば、±０．０１ｒａｄ／ｓｅｃ）未満となる区間を直進区間として抽出し、探索区間Ｈ１〜Ｈ３として設定する。なお、上記閾値は、車両特性（動力性能、サスペンション性能等）、車速やヨーレートの連続性などに基づいて、変化させてもよい。例えば、区画線候補検定部１３は、ヨーレートの連続性が小さい場合、上記閾値を増加させてもよい。
【００３７】
また、区画線候補検定部１３は、合成鳥瞰画像に関連付けられた車速を用いて、ヨーレートが変化した区間あるいは変化しない区間の走行距離を求め、この走行距離から合成鳥瞰画像上における上記直進区間の高さ（縦長さ）を求めることができる。
【００３８】
図５に示すように、探索区間Ｈ１〜Ｈ３において、自車は略直進しており、ヨーレートの変化量は小さく閾値未満となっている。一方、探索区間Ｈ３とＨ２との境界、及び探索区間Ｈ２とＨ１との境界において、自車は夫々右旋回及び左旋回しており、ヨーレートの変化量は大きくなっている。
【００３９】
次に、区画線候補検定部１３は、合成鳥瞰画像内に設定された各探索区間Ｈ１〜Ｈ３内において、区画線候補検出部１２により検出された区画線候補の角度を夫々判定する（区画線候補の角度判定）。ここで、区画線候補の位置は、例えば、図６に示すように、合成鳥瞰画像６１の手前切片とし、上記区画線候補の角度を所定角度の範囲６２内のいずれかであるとすることにより、合成鳥瞰画像６１内における区画線候補の位置６３を表現する。
【００４０】
区画線候補検定部１３は、合成鳥瞰画像の各探索区間内において、所定角度の範囲（例えば、±３０度）について、徐徐に（例えば、１度ずつ）角度を変化させながら、区画線候補の位置またはその周辺、例えば、区画線候補の位置を中心とした左右２０ｃｍの範囲、における画素値の和を算出する（ステップＳ１０２）。なお、区画線候補検定部１３は、ヨーレートセンサ４により検出されたヨーレートの値に応じて、所定角度の範囲を変化させてもよい。
【００４１】
そして、区画線候補検定部１３は、上述の所定角度の範囲における角度探索が終了すると（ステップＳ１０３）、画素値の和が最大となる角度を区画線候補の角度として決定する（ステップＳ１０４）。
【００４２】
さらに、区画線候補検定部１３は、全ての探索区間について、区画線候補の角度を決定すると（ステップＳ１０５のＹＥＳ）、後述の区画線候補の線種判定を行う。
【００４３】
区画線候補検定部１３は、区画線候補の線種判定において、合成鳥瞰画像の探索区間毎に算出した区画線候補の角度を用いて、各探索区間内における白線及びブランクの長さを夫々算出する（ステップＳ１０６）。
【００４４】
区画線候補検定部１３は、全ての探索区間内において白線及びブランクの長さを夫々算出すると（ステップＳ１０７のＹＥＳ）、探索区間毎に白線及びブランクの長さを夫々集計し、各長さの集計結果に基づいて、区画線候補の線種を判定し（ステップＳ１０８）、区画線候補を認識する。
【００４５】
以上、本実施の形態に係る区画線認識システム１０において、直進区間毎に区画線候補の直線近似を行うことにより、たとえ合成鳥瞰画像上で区画線が１本の直線で表現されていない場合でも、図５に示すように直線を組み合わせることにより１本の直線に近似することができる。したがって、低速走行時の車線変更においても、合成鳥瞰画像の区画線を１本の直線に近似して認識することができる。すなわち、低速走行時の車線変更等において、路面上の区画線を高精度に認識することができる。また、上述のように区画線を認識しつつ、地図情報やＧＰＳ情報を組み合わせることにより、自車位置の精度向上を図ることもできる。
【００４６】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００４７】
また、上記実施の形態において、任意の処理を、ＣＰＵ１ａにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。
【００４８】
さらに、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。さらにまた、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
【符号の説明】
【００４９】
１ 制御装置
２ 画像入力装置
３ 車速センサ
４ ヨーレートセンサ
１０ 区画線認識システム
１１ 合成鳥瞰画像生成部
１２ 区画線候補検出部
１３ 区画線候補検定部
１４ 区画線位置推定部
１５ 区画線位置出力部
【技術分野】
【０００１】
本発明は、路面上の区画線を高精度に認識できる区画線認識システム、区画線認識方法、及び区画線認識プログラムに関するものである。
【背景技術】
【０００２】
近年、カーナビゲーションなどにおいて、正確なナビゲーションを実行するために、自車位置を正確に把握することは重要な課題となっている。例えば、ＧＰＳや周辺画像解析などを用いて、自車位置情報の精度向上策が図られている。ここで、周辺画像の解析については、フレーム毎の画像認識や時系列毎の画像を組み合わせた合成鳥瞰画像を用いた認識技術などが存在する。
【０００３】
一方、複数の異なる時刻における原画像を基に合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、原画像から区画線候補を検出する区画線候補検出手段と、合成鳥瞰画像において区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を有する車線認識装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６９５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、上記特許文献１に示す車線認識装置において、車線変更時に路面の区画線を認識する場合を想定する。まず、車両が直進している時は（図７（ａ））、合成鳥瞰画像上で区画線は略垂直となり（図７（ｂ））、直線近似による推測が可能となるため、精度よく区画線を認識することができる。また、高速走行時における車線変更では（図８（ａ））、急激に車線変更を行うと危険なため、時間当たりの横移動量が小さく抑えられる。したがって、上記同様に、区画線は略直線近似による推測が可能となるため（図８（ｂ））、精度よく区画線を認識することができる。
【０００６】
しかしながら、低速走行時における車線変更では（図９（ａ））、時間当たりの横方向の移動量が大きいため、区画線が合成鳥瞰画像上で直線状にならない。したがって、区画線が合成鳥瞰画像上で１本の直線で近似することが困難となるため（図９（ｂ））、区画線の認識精度が低下する可能性がある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、自車の車速を検出する車速検出手段と、自車のヨーレートを検出するヨーレート検出手段と、路面の原画像を入力する画像入力手段と、前記画像入力手段により入力された複数の異なる時刻における前記原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときの前記車速検出手段により検出された前記車速と、前記ヨーレート検出手段により検出された前記ヨーレートと、を関連付ける合成鳥瞰画像生成手段と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記区画線候補検出手段により検出された前記区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、を備える、ことを特徴とする区画線認識システムである。
【０００８】
この一態様によれば、路面上の区画線を高精度に認識することができる。
【０００９】
また、本発明の一態様は、自車の車速を検出する工程と、自車のヨーレートを検出する工程と、路面の原画像を入力する工程と、前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける工程と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する工程と、前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する工程と、を含む、ことを特徴とする区画線認識方法であってもよい。
【００１０】
さらに、本発明の一態様は、自車の車速を検出する処理と、自車のヨーレートを検出する処理と、路面の原画像を入力する処理と、前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける処理と、前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する処理と、 前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する処理と、をコンピュータに実行させる区画線認識プログラムであってもよい。
【発明の効果】
【００１１】
本発明によれば、路面上の区画線を高精度に認識できる区画線認識システム、区画線認識方法、及び区画線認識プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係る区画線認識システムの概略的な構成を示すブロック図である。
【図２】本発明の一実施の形態に係る区画線認識システムの制御装置の概略的なシステム構成を示すブロック図である。
【図３】（ａ）時刻Ｔ−１の時点での画像入力装置により入力された原画像の一例を示す図である。（ｂ）時刻Ｔの時点での画像入力装置により入力された原画像の一例を示す図である。（ｃ）時刻Ｔ−１の時点で図３（ａ）の原画像から生成された鳥瞰画像の一例を示す図である。（ｄ）図３（ｃ）の鳥瞰画像の画素を、時刻Ｔ−１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。（ｅ）図３（ｂ）を鳥瞰画像化して得られた画像と、図３（ｄ）の画像と、を合成した合成鳥瞰画像の一例を示す図である。
【図４】本発明の一実施の形態に係る区画線候補検定部による区画線候補の角度判定及び区画線候補の線種判定の処理フローの一例を示すフローチャートである。
【図５】合成鳥瞰画像に設定された探索区間の一例を示す図である。
【図６】合成鳥瞰画像内における区画線候補の位置の一例を示す図である。
【図７】（ａ）車両が直進している状態の一例を示す上面図である。（ｂ）車両が直進状態のときの合成鳥瞰画像上の区画線を示す図である。
【図８】（ａ）車両が高速走行で車線変更しているときの状態の一例を示す上面図である。（ｂ）高速走行時の車線変更における合成鳥瞰画像上の区画線を示す図である。
【図９】（ａ）車両が低速走行で車線変更しているときの状態の一例を示す上面図である。（ｂ）低速走行時の車線変更における合成鳥瞰画像上の区画線を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係る区画線認識システムの概略的な構成を示すブロック図である。区画線認識システム１０は、制御装置１と、画像入力装置２と、車速センサ３と、ヨーレートセンサ４と、を備えている。
【００１４】
制御装置１は、例えば、制御処理、演算処理等と行うＣＰＵ（Central Processing Unit）１ａ、ＣＰＵ１ａによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）１ｂ、処理データ等を記憶するＲＡＭ（Random Access Memory）１ｃ等からなるマイクロコンピュータを中心にして、ハードウェア構成されている。
【００１５】
画像入力装置２は、路面等に形成された区画線を撮影することができるカメラなどの撮影装置によって構成されており、区画線を含む撮影画像が入力される。以下、画像入力装置２から入力された撮影画像を原画像と称す。画像入力装置２は、例えば、自動車などの車両に取り付けられる。以下、画像入力装置２が取り付けられた車両を自車と称す。
【００１６】
制御装置１を自車に搭載して、画像入力装置２と制御装置１との間の接続を有線接続としてもよい。また、制御装置１を自車に搭載せず、画像入力装置２と制御装置１との間の接続を無線接続としてもよい。画像入力装置２は、カメラ等により撮影された原画像を、後述の合成鳥瞰画像生成部１１に対して出力する。
【００１７】
車速センサ３は、車速検出手段の一具体例であり、自車の車速を検出することができる。車速センサ３は、例えば、自車の車輪速度を検出できる回転センサ等を用いて車速を検出する。車速センサ３は、制御装置１に接続されており、検出した車速を制御装置１に対して出力する。
【００１８】
ヨーレートセンサ４は、ヨーレート検出手段の一具体例であり、例えば、自車に取り付けられたジャイロセンサ等を用いて、自車のヨーレートを検出することができる。ヨーレートセンサ４は、制御装置１に接続されており、検出した自車のヨーレートを制御装置１に対して出力する。
【００１９】
図２は、本実施の形態に係る区画線認識システムの制御装置の概略的なシステム構成を示すブロック図である。制御装置１は、合成鳥瞰画像生成部１１と、区画線候補検出部１２と、区画線候補検定部１３と、区画線位置推定部１４と、区画線位置出力部１５と、を有している。
【００２０】
合成鳥瞰画像生成部１１は、合成鳥瞰画像生成手段の一具体例であり、画像入力装置２のカメラ等によって複数の異なる時刻において撮影された原画像を合成して、各フレーム毎に合成鳥瞰画像を生成する。ここで、合成鳥瞰画像生成部１１は、図３（ａ）乃至（ｅ）に示すようにして、合成鳥瞰画像の生成を行う。なお、本実施の形態において、鳥瞰画像とは、例えば、原画像に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像に変換したものである。また、鳥瞰画像化とは、原画像をそのような画像に変換することを指す。
【００２１】
合成鳥瞰画像生成部１１は、複数の異なる時刻において撮影された原画像を用い、それぞれの原画像の部分領域を鳥瞰画像化した部分鳥瞰画像をつなぎ合わせて、合成鳥瞰画像を生成する。図３（ａ）乃至（ｅ）に示した例において、画像入力装置２は、自車の進行方向と反対向きに設置され、自車の後ろ方向を撮影している。
【００２２】
図３（ａ）は時刻Ｔ−１の時点での原画像を示し、図３（ｂ）は時刻Ｔの時点での原画像を示している。図３（ｂ）の下部には、時刻Ｔ−１では撮影されておらず、時刻Ｔで始めて原画像の撮影範囲に入った部分が斜線部として示されている（これを手前領域３１と称す）。なお、図３（ａ）および（ｃ）中の矢印は、自車の進行方向を表す。
【００２３】
図３（ｃ）は、時刻Ｔ−１の時点において図３（ａ）の原画像から生成された鳥瞰画像である。図３（ｄ）は、図３（ｃ）の鳥瞰画像の画素を、時刻Ｔ−１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。図３（ｃ）の鳥瞰画像には、図３（ｂ）の手前領域３１に該当する部分は含まれていないため、図３（ｄ）の画像では手前領域３１に対応する部分は空白部３２となっている。
【００２４】
ここで、合成鳥瞰画像生成部１１は、図３（ｂ）を鳥瞰画像化して得られた画像と、図３（ｄ）の画像と、を合成することにより、図３（ｄ）の空白部３２（図３（ｂ）の手前領域３１に対応する部分）を埋めて、図３（ｅ）の合成鳥瞰画像を生成する。なお、上記合成鳥瞰画像の生成方法は、特許文献１に開示されており、その生成方法を援用することができる。
【００２５】
また、合成鳥瞰画像生成部１１は、自車が１ｍ走行する毎に、１ライン分の高さ（縦長さ）の画像を作成するように合成鳥瞰画像を生成する。例えば、自車が１００ｍ走行する場合、合成鳥瞰画像生成部１１は、１００ライン分の合成鳥瞰画像を生成する。
【００２６】
さらに、合成鳥瞰画像生成部１１は、生成した合成鳥瞰画像に、この合成鳥瞰画像を生成したときに車速センサ３により検出された自車の車速と、ヨーレートセンサ４により検出された自車のヨーレートと、を関連付ける。合成鳥瞰画像生成部１１は、生成した合成鳥瞰画像と、この合成鳥瞰画像に関連付けられた車速及びヨーレートと、を区画線候補検定部１３に対して出力する。
【００２７】
区画線候補検出部１２は、区画線候補検出手段の一具体例であり、画像入力装置２のカメラ等により撮影された原画像を用いて、区画線の候補となる区画線候補の位置を検出する。なお、区画線候補検出部１２は、合成鳥瞰画像生成部１１により生成された合成鳥瞰画像を用いて区画線候補の位置を検出してもよい。
【００２８】
区画線候補検出部１２は、画像入力装置２からの原画像において、例えば、原画像の階調数が２５６であれば輝度値２００以上の画素を前景とし、それ以外の画素を背景とする、というように原画像を前景と背景とに２値化する。そして、区画線候補検出部１２は、その２値化した原画像において前景とされた画素を基に、公知のハフ(Hough)変換により直線を検出し、それら検出した直線を区画線候補とする。区画線候補検出部１２は、検出した区画線候補を区画線候補検定部１３に出力する。
【００２９】
区画線候補検定部１３は、区画線候補検定手段の一具体例であり、区画線候補検出部１２において検出された区画線候補について、合成鳥瞰画像生成部１１において生成された合成鳥瞰画像内の区画線候補の位置及び線種を判定し、区画線候補を認識する。そして、区画線候補検定部１３は、認識した区画線候補が区画線として適しているか否かを検定する。
【００３０】
区画線候補検定部１３は、例えば、合成鳥瞰画像上において認識された区画線候補の位置もしくはその周辺における画素値に基づいて、区画線候補が区画線として適しているか否かを検定する。より具体的には、区画線候補検定部１３は、後述の合成鳥瞰画像内の画素値の和が予め設定された閾値以上であるとき、対応する区画線候補が区画線として適していると検定してもよい。
【００３１】
区画線位置推定部１４は、区画線候補検定部１３において区画線として適していると検定された区画線候補の位置に基づいて、現時刻の区画線の位置を推定する。また、区画線位置出力部１５は、区画線位置推定部１４において推定された現時刻の区画線の位置を、ディスプレイなどの表示装置やプリンタ等に出力する。
【００３２】
ところで、低速走行時における車線変更においては（図９（ａ））、時間当たりの横方向の移動量が大きいため、区画線が合成鳥瞰画像上で直線状にならない。したがって、従来の区画線認識システムにおいて、区画線が合成鳥瞰画像上で１本の直線で近似することが困難となるため（図９（ｂ））、区画線の認識精度が低下する可能性がある。
【００３３】
そこで、本実施の形態に係る区画線認識システム１０において、合成鳥瞰画像と関連付けられた車速およびヨーレートに基づいて、合成鳥瞰画像内で車両の直進区間を抽出し、該直線区間毎に区画線候補の直線近似を行い、直線近似した各区画線候補を組み合わせて区画線候補の全体を認識する。これにより、低速走行時の車線変更においても、合成鳥瞰画像の区画線を１本の直線に近似して認識することができる。すなわち、低速走行時の車線変更等において、路面上の区画線を高精度に認識することができる。
【００３４】
次に、区画線候補検定部１３による区画線候補の位置及び線種の判定し、区画線候補を認識する方法について、詳細に説明する。図４は、本実施形態に係る区画線候補検定部による区画線候補の角度判定及び区画線候補の線種判定の処理フローの一例を示すフローチャートである。
【００３５】
まず、区画線候補検定部１３は、合成鳥瞰画像生成部１１からの合成鳥瞰画像と、この合成鳥瞰画像に関連付けられた車速及びヨーレートと、に基づいて、合成鳥瞰画像上で自車が略直進した直進区間を抽出し、抽出した直進区間を、図５に示すように合成鳥瞰画像上の探索区画Ｈ１〜Ｈ３として設定する（ステップＳ１０１）。
【００３６】
ここで、区画線候補検定部１３は、合成鳥瞰画像に関連付けられたヨーレートが予め設定された閾値（例えば、±０．０１ｒａｄ／ｓｅｃ）未満となる区間を直進区間として抽出し、探索区間Ｈ１〜Ｈ３として設定する。なお、上記閾値は、車両特性（動力性能、サスペンション性能等）、車速やヨーレートの連続性などに基づいて、変化させてもよい。例えば、区画線候補検定部１３は、ヨーレートの連続性が小さい場合、上記閾値を増加させてもよい。
【００３７】
また、区画線候補検定部１３は、合成鳥瞰画像に関連付けられた車速を用いて、ヨーレートが変化した区間あるいは変化しない区間の走行距離を求め、この走行距離から合成鳥瞰画像上における上記直進区間の高さ（縦長さ）を求めることができる。
【００３８】
図５に示すように、探索区間Ｈ１〜Ｈ３において、自車は略直進しており、ヨーレートの変化量は小さく閾値未満となっている。一方、探索区間Ｈ３とＨ２との境界、及び探索区間Ｈ２とＨ１との境界において、自車は夫々右旋回及び左旋回しており、ヨーレートの変化量は大きくなっている。
【００３９】
次に、区画線候補検定部１３は、合成鳥瞰画像内に設定された各探索区間Ｈ１〜Ｈ３内において、区画線候補検出部１２により検出された区画線候補の角度を夫々判定する（区画線候補の角度判定）。ここで、区画線候補の位置は、例えば、図６に示すように、合成鳥瞰画像６１の手前切片とし、上記区画線候補の角度を所定角度の範囲６２内のいずれかであるとすることにより、合成鳥瞰画像６１内における区画線候補の位置６３を表現する。
【００４０】
区画線候補検定部１３は、合成鳥瞰画像の各探索区間内において、所定角度の範囲（例えば、±３０度）について、徐徐に（例えば、１度ずつ）角度を変化させながら、区画線候補の位置またはその周辺、例えば、区画線候補の位置を中心とした左右２０ｃｍの範囲、における画素値の和を算出する（ステップＳ１０２）。なお、区画線候補検定部１３は、ヨーレートセンサ４により検出されたヨーレートの値に応じて、所定角度の範囲を変化させてもよい。
【００４１】
そして、区画線候補検定部１３は、上述の所定角度の範囲における角度探索が終了すると（ステップＳ１０３）、画素値の和が最大となる角度を区画線候補の角度として決定する（ステップＳ１０４）。
【００４２】
さらに、区画線候補検定部１３は、全ての探索区間について、区画線候補の角度を決定すると（ステップＳ１０５のＹＥＳ）、後述の区画線候補の線種判定を行う。
【００４３】
区画線候補検定部１３は、区画線候補の線種判定において、合成鳥瞰画像の探索区間毎に算出した区画線候補の角度を用いて、各探索区間内における白線及びブランクの長さを夫々算出する（ステップＳ１０６）。
【００４４】
区画線候補検定部１３は、全ての探索区間内において白線及びブランクの長さを夫々算出すると（ステップＳ１０７のＹＥＳ）、探索区間毎に白線及びブランクの長さを夫々集計し、各長さの集計結果に基づいて、区画線候補の線種を判定し（ステップＳ１０８）、区画線候補を認識する。
【００４５】
以上、本実施の形態に係る区画線認識システム１０において、直進区間毎に区画線候補の直線近似を行うことにより、たとえ合成鳥瞰画像上で区画線が１本の直線で表現されていない場合でも、図５に示すように直線を組み合わせることにより１本の直線に近似することができる。したがって、低速走行時の車線変更においても、合成鳥瞰画像の区画線を１本の直線に近似して認識することができる。すなわち、低速走行時の車線変更等において、路面上の区画線を高精度に認識することができる。また、上述のように区画線を認識しつつ、地図情報やＧＰＳ情報を組み合わせることにより、自車位置の精度向上を図ることもできる。
【００４６】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００４７】
また、上記実施の形態において、任意の処理を、ＣＰＵ１ａにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。
【００４８】
さらに、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。さらにまた、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
【符号の説明】
【００４９】
１ 制御装置
２ 画像入力装置
３ 車速センサ
４ ヨーレートセンサ
１０ 区画線認識システム
１１ 合成鳥瞰画像生成部
１２ 区画線候補検出部
１３ 区画線候補検定部
１４ 区画線位置推定部
１５ 区画線位置出力部
【特許請求の範囲】
【請求項１】
自車の車速を検出する車速検出手段と、
自車のヨーレートを検出するヨーレート検出手段と、
路面の原画像を入力する画像入力手段と、
前記画像入力手段により入力された複数の異なる時刻における前記原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときの前記車速検出手段により検出された前記車速と、前記ヨーレート検出手段により検出された前記ヨーレートと、を関連付ける合成鳥瞰画像生成手段と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記区画線候補検出手段により検出された前記区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、
を備える、ことを特徴とする区画線認識システム。
【請求項２】
請求項１記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像において、前記ヨーレート検出手段により検出された前記ヨーレートが閾値未満となる区間を前記直進区間として設定する、ことを特徴とする区画線認識システム。
【請求項３】
請求項２記載の区画線認識システムであって、
前記区画線候補検定手段は、自車の車両特性、前記車速検出手段により検出された前記車速、または、前記ヨーレート検出手段により検出された前記ヨーレートの連続性に応じて、前記閾値を変化させる、ことを特徴とする区画線認識システム。
【請求項４】
請求項１乃至３のうちいずれか１項記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像の各直進区間において、所定の画素値の和が最大となるときの前記区画線候補の角度を夫々判定して、前記区画線候補の位置を認識する、ことを特徴とする区画線認識システム。
【請求項５】
請求項１乃至４のうちいずれか１項記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像の直進区間毎に、白線又はブランクの長さを集計し、該集計した長さに基づいて、前記区画線候補の線種を判定し、前記区画線候補を認識する、ことを特徴とする区画線認識システム。
【請求項６】
自車の車速を検出する工程と、
自車のヨーレートを検出する工程と、
路面の原画像を入力する工程と、
前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける工程と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する工程と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する工程と、
を含む、ことを特徴とする区画線認識方法。
【請求項７】
自車の車速を検出する処理と、
自車のヨーレートを検出する処理と、
路面の原画像を入力する処理と、
前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける処理と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する処理と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する処理と、
をコンピュータに実行させる区画線認識プログラム。
【請求項１】
自車の車速を検出する車速検出手段と、
自車のヨーレートを検出するヨーレート検出手段と、
路面の原画像を入力する画像入力手段と、
前記画像入力手段により入力された複数の異なる時刻における前記原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときの前記車速検出手段により検出された前記車速と、前記ヨーレート検出手段により検出された前記ヨーレートと、を関連付ける合成鳥瞰画像生成手段と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する区画線候補検出手段と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記区画線候補検出手段により検出された前記区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する区画線候補検定手段と、
を備える、ことを特徴とする区画線認識システム。
【請求項２】
請求項１記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像において、前記ヨーレート検出手段により検出された前記ヨーレートが閾値未満となる区間を前記直進区間として設定する、ことを特徴とする区画線認識システム。
【請求項３】
請求項２記載の区画線認識システムであって、
前記区画線候補検定手段は、自車の車両特性、前記車速検出手段により検出された前記車速、または、前記ヨーレート検出手段により検出された前記ヨーレートの連続性に応じて、前記閾値を変化させる、ことを特徴とする区画線認識システム。
【請求項４】
請求項１乃至３のうちいずれか１項記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像の各直進区間において、所定の画素値の和が最大となるときの前記区画線候補の角度を夫々判定して、前記区画線候補の位置を認識する、ことを特徴とする区画線認識システム。
【請求項５】
請求項１乃至４のうちいずれか１項記載の区画線認識システムであって、
前記区画線候補検定手段は、前記合成鳥瞰画像の直進区間毎に、白線又はブランクの長さを集計し、該集計した長さに基づいて、前記区画線候補の線種を判定し、前記区画線候補を認識する、ことを特徴とする区画線認識システム。
【請求項６】
自車の車速を検出する工程と、
自車のヨーレートを検出する工程と、
路面の原画像を入力する工程と、
前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける工程と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する工程と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する工程と、
を含む、ことを特徴とする区画線認識方法。
【請求項７】
自車の車速を検出する処理と、
自車のヨーレートを検出する処理と、
路面の原画像を入力する処理と、
前記入力された複数の異なる時刻における原画像に基づいて合成鳥瞰画像を生成し、該合成鳥瞰画像に、該合成鳥瞰画像を生成したときに前記検出された車速と、前記検出されたヨーレートと、を関連付ける処理と、
前記原画像および前記合成鳥瞰画像のうち少なくとも一方から、区画線候補を検出する処理と、
前記合成鳥瞰画像と前記関連付けられた車速およびヨーレートとに基づいて、車両の直進区間を抽出し、該直線区間毎に、前記検出された区画線候補を認識し、該認識した区画線候補が区画線として適しているか否かを検定する処理と、
をコンピュータに実行させる区画線認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１７０５９６（Ｐ２０１１−１７０５９６Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３３５０９（Ｐ２０１０−３３５０９）
【出願日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]