白線認識装置
【課題】自車両にピッチングが生じても白線を正確に認識できる白線認識装置を提供すること。
【解決手段】自車両の前方の道路を含む領域の画像を撮影する撮影手段3と、前記撮影手段3により撮影される画像の1フレームごとに、道路における白線のエッジを抽出するエッジ抽出手段7と、前記エッジ抽出手段7により抽出された前記白線のエッジを、前記1フレームごとに順次記録し、前記白線のエッジの履歴を作成する履歴作成手段7と、前記白線のエッジの履歴を用いて、前記白線を認識する白線認識手段7と、前記自車両のピッチングを検出するピッチング検出手段7とを備え、前記履歴作成手段7は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジは、前記履歴に含めないことを特徴とする白線認識装置1。
【解決手段】自車両の前方の道路を含む領域の画像を撮影する撮影手段3と、前記撮影手段3により撮影される画像の1フレームごとに、道路における白線のエッジを抽出するエッジ抽出手段7と、前記エッジ抽出手段7により抽出された前記白線のエッジを、前記1フレームごとに順次記録し、前記白線のエッジの履歴を作成する履歴作成手段7と、前記白線のエッジの履歴を用いて、前記白線を認識する白線認識手段7と、前記自車両のピッチングを検出するピッチング検出手段7とを備え、前記履歴作成手段7は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジは、前記履歴に含めないことを特徴とする白線認識装置1。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は白線認識装置に関する。
【背景技術】
【0002】
従来、自車両の前方の道路を含む領域の画像をカメラで撮影し、その画像において道路の白線を認識する白線認識装置が知られている(特許文献1参照)。この白線認識装置では、所定時間ごとに、自車両の前方の道路を含む領域の画像を撮影し、撮影された画像の1フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、1フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−157670号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
走行中の車両には、道路の段差、障害物、車両の加減速等により、ピッチングが生じることがある。ピッチングが生じると、図11に示すように、実際の道路は直線であっても、カメラで撮影した画像内における白線のエッジは内側に入り込む。なお、図11において白線の外側に引かれた直線は、ピッチングがない場合に認識される白線と一致する直線である。そして、図12に示すように、内側に入り込むエッジを記録した履歴に基づき、白線を認識すると、その白線の認識が不正確になってしまう。
【0005】
本発明は以上の点に鑑みなされたものであり、自車両にピッチングが生じても白線を正確に認識できる白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像の1フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、1フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。よって、本発明の白線認識装置は、道路の白線を正確に認識することができる。
【0007】
特に本発明の白線認識装置は、自車両のピッチングを検出するピッチング検出手段を備え、そのピッチング検出手段によりピッチングが検出されたときに撮影されたフレームにおける白線のエッジは、履歴に含めない。そのことにより、本発明の白線認識装置では、履歴がピッチングの影響を受けないので、ピッチングが発生した場合でも、白線を正確に認識することができる。
【0008】
「ピッチングが検出されたときに撮影されたフレーム」とは、撮影された画像に基づいてピッチング検出手段がピッチングを検出する場合は、そのピッチング検出手段がピッチングを検出したフレームである。また、その他の手段によりピッチングを検出する場合は、例えば、ピッチングを検出したタイミングに最も近いタイミングで撮影されたフレームである。「ピッチングが検出されたときに撮影されたフレーム」は単数であってもよいし、複数であってもよい。
【0009】
前記ピッチング検出手段としては、例えば、画像の1フレームごとに、左右それぞれの白線のエッジに関する一対の近似直線を算出し、その一対の近似直線におけるFOE(消失点)の位置に基づき、ピッチングを検出するものが挙げられる。例えば、自車両から見て、あるフレームにおいて算出したFOEの位置(特に上下方向における位置)が、所定の基準(例えば、予め設定された範囲)から外れている場合に、ピッチングを検出したと判断することができる。また、あるフレームにおいて算出したFOEの位置と、その前のフレーム(複数のフレームであってもよい)において算出したFOEとを比べて、所定量以上変動している場合に、ピッチングを検出したと判断することができる。
【0010】
なお、ピッチングの挙動のうち、自車両が前下がりになる挙動を示す場合、自車両から見て、FOEは下方に移動する。一方、自車両が前上がりになる挙動を示す場合、自車両から見て、FOEは上方に移動する。上記のピッチング検出手段によれば、Gセンサ、ダンパ圧力センサ、エアサス圧力センサ等を備えなくても、ピッチングを検出することができる。
【0011】
前記履歴作成手段は、例えば、ピッチングが検出されたときに撮影されたフレームにおける白線のエッジに代えて、その1回前に撮影されたフレームにおける白線のエッジを記録するものとすることができる。こうすることにより、履歴に対するピッチングの影響を排除することができる。また、1回前に撮影されたフレームを用いることにより、代わりに記録したエッジが、実際のエッジから大きくずれてしまうことがない。
【図面の簡単な説明】
【0012】
【図1】白線認識装置1の構成を表すブロック図である。
【図2】白線認識装置1が実行する白線認識処理を表すフローチャートである。
【図3】エッジ抽出の方法を表す説明図であって、(a)は1フレームの画像データの例を表す写真であり、(b)は道路において抽出されたエッジを表す鳥瞰図である。
【図4】エッジ抽出の方法を表す説明図である。
【図5】白線認識の方法を表す説明図である。
【図6】FOE推定の方法を表す説明図であり、(a)は通常時を表し、(b)はピッチングが生じている場合を表す。
【図7】履歴の更新を表す模式図であり(a)は更新前の履歴を表し、(b)はピッチングが発生していない場合における履歴の更新を表し、(c)はピッチングが発生した場合における履歴の更新を表す。
【図8】履歴の更新の例を表す鳥瞰図であり、(a)はピッチングが発生していない場合における履歴の更新を表し、(b)はピッチングが発生した場合における履歴の更新を表す。
【図9】白線認識装置1が奏する効果を表す説明図である。
【図10】白線認識装置1が奏する効果を表す画像データである。
【図11】従来の白線認識装置においてピッチングが発生した場合に生じるエッジ抽出のずれを表す説明図である。
【図12】従来の白線認識装置においてピッチングが発生した場合に生じる白線認識のずれを表す説明図である。
【発明を実施するための形態】
【0013】
1.白線認識装置1の構成
白線認識装置1の構成を図1のブロック図に基づき説明する。白線認識装置1は、車両に搭載される。なお、以下では、白線認識装置1が搭載される車両を自車両とする。白線認識装置1は、カメラ(撮影手段)3、電源装置5、画像ECU7及び警報装置9を備える。
【0014】
上記カメラ3はCCDカメラであり、自車両の前方の画像を撮影できる位置に設けられる。カメラ3で撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。カメラ3は、画像ECU7からの指示に応じて、シャッタースピード、フレームレート、画像ECU7へ出力するデジタル信号のゲイン等を調整することができる。また、カメラ3は、撮影した画像の画像データを画像ECU7へ1フレームごとに出力する。
【0015】
上記電源装置5は、カメラ3、画像ECU7、及び警報装置9へ電源を供給する。
上記画像ECU7は、マイクロコンピュータ等によって構成されるものであり、例えば、CPU、ROM、RAM、I/O、及びこれらを接続するバス(いずれも図示略)等を備えている。画像ECU7は、カメラ3から入力する画像データに基づき、画像の明るさが所定範囲に収まるように、カメラ3のシャッタースピード、フレームレート、デジタル信号のゲイン等を制御する。また、画像ECU7は、カメラ3から入力する画像データを用いて、後述する白線認識処理を実行する。
【0016】
さらに、画像ECU7は、白線認識処理により認識した白線の位置から、道路における自車両の位置(白線に対し、どれだけ左右方向に変位しているか)を算出し、自車両が車線を逸脱するか否かを判定する。逸脱すると判定した場合は、警報装置9に警報信号を出力する。画像ECU7は、エッジ抽出手段、履歴作成手段、白線認識手段、ピッチング検出手段として機能する。
【0017】
上記警報装置9は、画像ECU7から警報信号を受信した場合、音声、又は図示しない表示装置における警報画像により警報を行う。
2.白線認識装置1が実行する白線認識処理
図2のフローチャート及び図3〜図8の説明図に基づき、白線認識装置1(特に画像ECU7)が実行する白線認識処理を説明する。図2に示す白線認識処理は、自車両のイグニッションスイッチがONにされると開始される。
【0018】
図2のステップ10では、カメラ3により、自車両の前方の画像を撮影し、その画像データの1フレームを画像ECU7に取り込む。撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。
【0019】
ステップ20では、前記ステップ10で取り込んだ1フレームの画像データにおける道路の輝度を推定し、その道路の輝度に基づき、エッジ閾値を算出する。具体的には、以下のように行う。
【0020】
画像データにおいて、自車両の前方の道路に対応する領域(以下、道路対応領域とする)の輝度を画素ごとに取得する。道路対応領域は、例えば、図3(a)に示す画像データにおいて、長方形の枠で囲まれた領域である。そして、その道路対応領域の全画素を、輝度が高い順に並べる。そして、輝度の順位が、最高から所定の順位までの画素を除外する。これらの画素は、白線、ノイズ等により、道路(白線を除く部分)の実際の輝度より高い輝度となっている可能性があるためである。よって、除外されずに残った画素は、道路のうち、白線やノイズを除く部分の画素である。道路対応領域の画素のうち、除外されずに残った画素の輝度についての平均値を算出し、これを道路(白線を除く部分)の輝度とする。
【0021】
画像ECU7は、予め、道路の輝度と、エッジ閾値との対応マップを備えている。この対応マップに、上記のように推定した道路の輝度をあてはめて算出されたエッジ閾値を設定する。
【0022】
ステップ30では、直前の前記ステップ10で取り込んだ1フレームの画像データについて、道路上の白線のエッジを抽出する。なお、白線認識処理は、図2に示すように、繰り返し行われるので、ステップ10の処理も繰り返し実行される。上記の「直前」とは、繰り返し実行されるステップ10の処理のうちで、最も直近に実行されたものを意味する。「直前」の意味は以下でも同様である。
【0023】
白線のエッジを抽出する処理は、具体的には、以下のように行う。画像データの道路対応領域において、水平方向の走査線を設定する。その走査線上に位置する画素の輝度の微分曲線を算出する。例えば、走査線上に位置する画素の輝度が図4(a)に示すものであった場合、図4(b)に示す輝度の微分曲線が得られる。そしてさらに、図4(c)に示すように、微分値の絶対値をとる。なお、図4(a)において輝度が高くなっている部分は白線であり、それ以外の部分は、道路(白線の部分を除く)である。図4(c)に示すように、微分値の絶対値を表す曲線に前記ステップ20で設定したエッジ閾値をあてはめ、それらの交点を定める。走査線上におけるこの交点の位置を白線のエッジとして抽出する。
【0024】
上記の処理を、画像データの道路対応領域において複数設定する走査線のそれぞれについて行う。その結果、自車両の進行方向に沿って、複数のエッジが抽出される。図3(b)の鳥瞰図に、図3(a)に示す画像データにおいて、抽出された複数のエッジの例を示す。なお、図3(b)において、「今回フレームのエッジ」と記載された範囲は、直前のステップ30の処理において抽出されたエッジの範囲である。一方、図3(b)において、「履歴に記憶されたエッジ」と記載された範囲は、前回以前のステップ30の処理において抽出されて順次記憶されたエッジの範囲であり、後述する履歴に記憶されたエッジの範囲である。
【0025】
ステップ40では、図5に示すように、直前の前記ステップ30で抽出したエッジと履歴に記憶されたエッジとを通る直線(近似直線)をフィッティングにより算出する。この直線は、エッジを最も多く通る直線であり、白線に対応する。直線の算出は、自車両の左側の白線と、右側の白線とのそれぞれについて行う。
【0026】
ステップ50ではFOE推定を行う。具体的には以下のように行う。図6に示すように、直前の前記ステップ30で抽出したエッジ(図6では今回フレームのエッジ)のみを用いて、直線をフィッティングにより算出する。フィッティングの方法は前記ステップ40と同様であり、自車両の左側の白線に対応する直線と、右側の白線に対応する直線とから成る一対の直線をそれぞれ算出する。そして、自車両から見たときの、一対の直線のFOE(消失点)の位置を計算により推定する。
【0027】
図6(a)は通常時(今回フレームにおいてピッチングが生じていない時)におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいないので、自車両から見たFOEの位置は、相対的に高い位置になる。一方、図6(b)は、今回フレームにおいてピッチングが生じた時におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいるので、自車両から見たFOEの位置は、相対的に低い位置になる。すなわち、ピッチングが生じたときのフレームにおけるFOEの位置は、通常時のフレームにおけるFOEの位置より低くなる。
【0028】
ステップ60では、直前の前記ステップ50で推定したFOEの位置と、その1回前に実行したステップ50で推定したFOEの位置とを対比する。なお、白線認識処理は、図2に示すように、繰り返し行われるので、ステップ50の処理も繰り返し実行される。上記の「1回前」とは、繰り返し実行されるステップ50の処理のうちで、「直前」の1回前に実行されたものを意味する。
【0029】
直前の前記ステップ50で推定したFOEの位置の方が、その1回前のステップ50で推定したFOEの位置よりも、所定値以上低ければ、ピッチングが発生したと判断し、それ以外の場合は、ピッチングが発生していないと判断する。なお、このステップ60の処理を初めて実行する場合は、1回前のステップ50で推定したFOEが存在しないが、この場合は、ピッチングが発生していないと判断する。ピッチングが発生していないと判断した場合はステップ70に進み、ピッチングが発生したと判断した場合はステップ80に進む。
【0030】
ステップ70では、履歴を更新する。ここで、履歴とは、前記ステップ30で抽出されたエッジを、画像データの1フレームごとに(ステップ30を1回実行するごとに)順次記録したものである。図7(a)は、履歴を模式的に表す。フレーム3、4、5、6は、それぞれ、画像データの1フレーム分のエッジを表す。履歴に記録された順序は、古い方から、フレーム3、4、5、6の順である。フレーム3、4、5、6は、それぞれ、自車両が走行しているときに取り込まれるから、自車両の進行方向に関し、フレーム3は最も後方を撮影したフレームであり、フレーム6は最も前方を撮影したフレームである。履歴におけるフレーム3、4、5、6の間隔(図7(a)では上下方向の間隔)は、全体として道路の鳥瞰図(例えば図6(a)、(b))となるように設定される。
【0031】
本ステップ70における履歴の更新を図7及び図8を用いて説明する。履歴が図7(a)に示す状態において、新たにフレーム7のエッジが抽出されたとする。このフレーム7は、ピッチングが生じていないフレームである。図7(b)に示すように、フレーム7のエッジが、最も新しいフレームのエッジとして履歴に追加される。そして、最も古いフレーム3のエッジは削除される。フレーム4、5、6の位置は1つずつ、記録の順番が古い方へ(自車両の後方に対応する方向へ)ずれる。図8(a)に、本ステップ70における履歴の更新の例を示す。図8(a)において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。
【0032】
ステップ80では、履歴を更新する。本ステップ80における履歴の更新を、図7及び図8を用いて説明する。履歴が図7(a)に示す状態において、新たにフレーム7のエッジが抽出されたとする。このフレーム7は、ピッチングが生じているフレームである。図7(c)に示すように、フレーム7のエッジに代えて、その1回前に撮影されたフレーム6のエッジが、最も新しいフレームのエッジの位置に記憶される。そして、最も古いフレーム3のエッジは削除される。フレーム4、5、6の位置は1つずつ、記録の順番が古い方へ(自車両の後方に対応する方向へ)ずれる。図8(b)に、本ステップ80における履歴の更新の例を示す。図8(b)において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。
【0033】
3.白線認識装置1が奏する効果
白線認識装置1は、ピッチングが発生したフレームのエッジを履歴に含めない。そのため、図9に示すように、ピッチングが発生した場合でも、履歴に記憶されたエッジは内側に入り込んでいない。白線認識装置1は、そのような履歴を用いて白線を認識するので、図9及び図10に示すように、ピッチングが発生した場合でも、白線を正確に認識することができる。
【0034】
なお、前記ステップ40では、上述したように、直前のステップ30で抽出したエッジ(ピッチングの影響を受けている可能性のあるエッジ)も用いて白線を認識するが、複数のフレームのエッジを記録した履歴に比べれば白線の認識に与える影響は小さいため、仮に、直前のステップ30において、ピッチングが発生したときのフレームからエッジを抽出したとしても、白線の認識が大きくずれてしまうことはない。
【0035】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、他の方法でピッチングを検出してもよい。例えば、自車両に搭載されたGセンサ、ダンパ圧力センサ、エアサス圧力センサ等によりピッチングを検出してもよい。
また、各フレームの画像において、一対の互いに平行な直線(例えばガードレール)のFOEを算出し、そのFOEのフレーム間における上下動によりピッチングを検出してもよい。
【0036】
また、前記ステップ40では、履歴に記憶されたエッジのみを用いて白線を認識してもよい。
【符号の説明】
【0037】
1・・・白線認識装置、3・・・カメラ、5・・・電源装置、7・・・画像ECU、
9・・・警報装置
【技術分野】
【0001】
本発明は白線認識装置に関する。
【背景技術】
【0002】
従来、自車両の前方の道路を含む領域の画像をカメラで撮影し、その画像において道路の白線を認識する白線認識装置が知られている(特許文献1参照)。この白線認識装置では、所定時間ごとに、自車両の前方の道路を含む領域の画像を撮影し、撮影された画像の1フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、1フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−157670号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
走行中の車両には、道路の段差、障害物、車両の加減速等により、ピッチングが生じることがある。ピッチングが生じると、図11に示すように、実際の道路は直線であっても、カメラで撮影した画像内における白線のエッジは内側に入り込む。なお、図11において白線の外側に引かれた直線は、ピッチングがない場合に認識される白線と一致する直線である。そして、図12に示すように、内側に入り込むエッジを記録した履歴に基づき、白線を認識すると、その白線の認識が不正確になってしまう。
【0005】
本発明は以上の点に鑑みなされたものであり、自車両にピッチングが生じても白線を正確に認識できる白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像の1フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、1フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。よって、本発明の白線認識装置は、道路の白線を正確に認識することができる。
【0007】
特に本発明の白線認識装置は、自車両のピッチングを検出するピッチング検出手段を備え、そのピッチング検出手段によりピッチングが検出されたときに撮影されたフレームにおける白線のエッジは、履歴に含めない。そのことにより、本発明の白線認識装置では、履歴がピッチングの影響を受けないので、ピッチングが発生した場合でも、白線を正確に認識することができる。
【0008】
「ピッチングが検出されたときに撮影されたフレーム」とは、撮影された画像に基づいてピッチング検出手段がピッチングを検出する場合は、そのピッチング検出手段がピッチングを検出したフレームである。また、その他の手段によりピッチングを検出する場合は、例えば、ピッチングを検出したタイミングに最も近いタイミングで撮影されたフレームである。「ピッチングが検出されたときに撮影されたフレーム」は単数であってもよいし、複数であってもよい。
【0009】
前記ピッチング検出手段としては、例えば、画像の1フレームごとに、左右それぞれの白線のエッジに関する一対の近似直線を算出し、その一対の近似直線におけるFOE(消失点)の位置に基づき、ピッチングを検出するものが挙げられる。例えば、自車両から見て、あるフレームにおいて算出したFOEの位置(特に上下方向における位置)が、所定の基準(例えば、予め設定された範囲)から外れている場合に、ピッチングを検出したと判断することができる。また、あるフレームにおいて算出したFOEの位置と、その前のフレーム(複数のフレームであってもよい)において算出したFOEとを比べて、所定量以上変動している場合に、ピッチングを検出したと判断することができる。
【0010】
なお、ピッチングの挙動のうち、自車両が前下がりになる挙動を示す場合、自車両から見て、FOEは下方に移動する。一方、自車両が前上がりになる挙動を示す場合、自車両から見て、FOEは上方に移動する。上記のピッチング検出手段によれば、Gセンサ、ダンパ圧力センサ、エアサス圧力センサ等を備えなくても、ピッチングを検出することができる。
【0011】
前記履歴作成手段は、例えば、ピッチングが検出されたときに撮影されたフレームにおける白線のエッジに代えて、その1回前に撮影されたフレームにおける白線のエッジを記録するものとすることができる。こうすることにより、履歴に対するピッチングの影響を排除することができる。また、1回前に撮影されたフレームを用いることにより、代わりに記録したエッジが、実際のエッジから大きくずれてしまうことがない。
【図面の簡単な説明】
【0012】
【図1】白線認識装置1の構成を表すブロック図である。
【図2】白線認識装置1が実行する白線認識処理を表すフローチャートである。
【図3】エッジ抽出の方法を表す説明図であって、(a)は1フレームの画像データの例を表す写真であり、(b)は道路において抽出されたエッジを表す鳥瞰図である。
【図4】エッジ抽出の方法を表す説明図である。
【図5】白線認識の方法を表す説明図である。
【図6】FOE推定の方法を表す説明図であり、(a)は通常時を表し、(b)はピッチングが生じている場合を表す。
【図7】履歴の更新を表す模式図であり(a)は更新前の履歴を表し、(b)はピッチングが発生していない場合における履歴の更新を表し、(c)はピッチングが発生した場合における履歴の更新を表す。
【図8】履歴の更新の例を表す鳥瞰図であり、(a)はピッチングが発生していない場合における履歴の更新を表し、(b)はピッチングが発生した場合における履歴の更新を表す。
【図9】白線認識装置1が奏する効果を表す説明図である。
【図10】白線認識装置1が奏する効果を表す画像データである。
【図11】従来の白線認識装置においてピッチングが発生した場合に生じるエッジ抽出のずれを表す説明図である。
【図12】従来の白線認識装置においてピッチングが発生した場合に生じる白線認識のずれを表す説明図である。
【発明を実施するための形態】
【0013】
1.白線認識装置1の構成
白線認識装置1の構成を図1のブロック図に基づき説明する。白線認識装置1は、車両に搭載される。なお、以下では、白線認識装置1が搭載される車両を自車両とする。白線認識装置1は、カメラ(撮影手段)3、電源装置5、画像ECU7及び警報装置9を備える。
【0014】
上記カメラ3はCCDカメラであり、自車両の前方の画像を撮影できる位置に設けられる。カメラ3で撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。カメラ3は、画像ECU7からの指示に応じて、シャッタースピード、フレームレート、画像ECU7へ出力するデジタル信号のゲイン等を調整することができる。また、カメラ3は、撮影した画像の画像データを画像ECU7へ1フレームごとに出力する。
【0015】
上記電源装置5は、カメラ3、画像ECU7、及び警報装置9へ電源を供給する。
上記画像ECU7は、マイクロコンピュータ等によって構成されるものであり、例えば、CPU、ROM、RAM、I/O、及びこれらを接続するバス(いずれも図示略)等を備えている。画像ECU7は、カメラ3から入力する画像データに基づき、画像の明るさが所定範囲に収まるように、カメラ3のシャッタースピード、フレームレート、デジタル信号のゲイン等を制御する。また、画像ECU7は、カメラ3から入力する画像データを用いて、後述する白線認識処理を実行する。
【0016】
さらに、画像ECU7は、白線認識処理により認識した白線の位置から、道路における自車両の位置(白線に対し、どれだけ左右方向に変位しているか)を算出し、自車両が車線を逸脱するか否かを判定する。逸脱すると判定した場合は、警報装置9に警報信号を出力する。画像ECU7は、エッジ抽出手段、履歴作成手段、白線認識手段、ピッチング検出手段として機能する。
【0017】
上記警報装置9は、画像ECU7から警報信号を受信した場合、音声、又は図示しない表示装置における警報画像により警報を行う。
2.白線認識装置1が実行する白線認識処理
図2のフローチャート及び図3〜図8の説明図に基づき、白線認識装置1(特に画像ECU7)が実行する白線認識処理を説明する。図2に示す白線認識処理は、自車両のイグニッションスイッチがONにされると開始される。
【0018】
図2のステップ10では、カメラ3により、自車両の前方の画像を撮影し、その画像データの1フレームを画像ECU7に取り込む。撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。
【0019】
ステップ20では、前記ステップ10で取り込んだ1フレームの画像データにおける道路の輝度を推定し、その道路の輝度に基づき、エッジ閾値を算出する。具体的には、以下のように行う。
【0020】
画像データにおいて、自車両の前方の道路に対応する領域(以下、道路対応領域とする)の輝度を画素ごとに取得する。道路対応領域は、例えば、図3(a)に示す画像データにおいて、長方形の枠で囲まれた領域である。そして、その道路対応領域の全画素を、輝度が高い順に並べる。そして、輝度の順位が、最高から所定の順位までの画素を除外する。これらの画素は、白線、ノイズ等により、道路(白線を除く部分)の実際の輝度より高い輝度となっている可能性があるためである。よって、除外されずに残った画素は、道路のうち、白線やノイズを除く部分の画素である。道路対応領域の画素のうち、除外されずに残った画素の輝度についての平均値を算出し、これを道路(白線を除く部分)の輝度とする。
【0021】
画像ECU7は、予め、道路の輝度と、エッジ閾値との対応マップを備えている。この対応マップに、上記のように推定した道路の輝度をあてはめて算出されたエッジ閾値を設定する。
【0022】
ステップ30では、直前の前記ステップ10で取り込んだ1フレームの画像データについて、道路上の白線のエッジを抽出する。なお、白線認識処理は、図2に示すように、繰り返し行われるので、ステップ10の処理も繰り返し実行される。上記の「直前」とは、繰り返し実行されるステップ10の処理のうちで、最も直近に実行されたものを意味する。「直前」の意味は以下でも同様である。
【0023】
白線のエッジを抽出する処理は、具体的には、以下のように行う。画像データの道路対応領域において、水平方向の走査線を設定する。その走査線上に位置する画素の輝度の微分曲線を算出する。例えば、走査線上に位置する画素の輝度が図4(a)に示すものであった場合、図4(b)に示す輝度の微分曲線が得られる。そしてさらに、図4(c)に示すように、微分値の絶対値をとる。なお、図4(a)において輝度が高くなっている部分は白線であり、それ以外の部分は、道路(白線の部分を除く)である。図4(c)に示すように、微分値の絶対値を表す曲線に前記ステップ20で設定したエッジ閾値をあてはめ、それらの交点を定める。走査線上におけるこの交点の位置を白線のエッジとして抽出する。
【0024】
上記の処理を、画像データの道路対応領域において複数設定する走査線のそれぞれについて行う。その結果、自車両の進行方向に沿って、複数のエッジが抽出される。図3(b)の鳥瞰図に、図3(a)に示す画像データにおいて、抽出された複数のエッジの例を示す。なお、図3(b)において、「今回フレームのエッジ」と記載された範囲は、直前のステップ30の処理において抽出されたエッジの範囲である。一方、図3(b)において、「履歴に記憶されたエッジ」と記載された範囲は、前回以前のステップ30の処理において抽出されて順次記憶されたエッジの範囲であり、後述する履歴に記憶されたエッジの範囲である。
【0025】
ステップ40では、図5に示すように、直前の前記ステップ30で抽出したエッジと履歴に記憶されたエッジとを通る直線(近似直線)をフィッティングにより算出する。この直線は、エッジを最も多く通る直線であり、白線に対応する。直線の算出は、自車両の左側の白線と、右側の白線とのそれぞれについて行う。
【0026】
ステップ50ではFOE推定を行う。具体的には以下のように行う。図6に示すように、直前の前記ステップ30で抽出したエッジ(図6では今回フレームのエッジ)のみを用いて、直線をフィッティングにより算出する。フィッティングの方法は前記ステップ40と同様であり、自車両の左側の白線に対応する直線と、右側の白線に対応する直線とから成る一対の直線をそれぞれ算出する。そして、自車両から見たときの、一対の直線のFOE(消失点)の位置を計算により推定する。
【0027】
図6(a)は通常時(今回フレームにおいてピッチングが生じていない時)におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいないので、自車両から見たFOEの位置は、相対的に高い位置になる。一方、図6(b)は、今回フレームにおいてピッチングが生じた時におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいるので、自車両から見たFOEの位置は、相対的に低い位置になる。すなわち、ピッチングが生じたときのフレームにおけるFOEの位置は、通常時のフレームにおけるFOEの位置より低くなる。
【0028】
ステップ60では、直前の前記ステップ50で推定したFOEの位置と、その1回前に実行したステップ50で推定したFOEの位置とを対比する。なお、白線認識処理は、図2に示すように、繰り返し行われるので、ステップ50の処理も繰り返し実行される。上記の「1回前」とは、繰り返し実行されるステップ50の処理のうちで、「直前」の1回前に実行されたものを意味する。
【0029】
直前の前記ステップ50で推定したFOEの位置の方が、その1回前のステップ50で推定したFOEの位置よりも、所定値以上低ければ、ピッチングが発生したと判断し、それ以外の場合は、ピッチングが発生していないと判断する。なお、このステップ60の処理を初めて実行する場合は、1回前のステップ50で推定したFOEが存在しないが、この場合は、ピッチングが発生していないと判断する。ピッチングが発生していないと判断した場合はステップ70に進み、ピッチングが発生したと判断した場合はステップ80に進む。
【0030】
ステップ70では、履歴を更新する。ここで、履歴とは、前記ステップ30で抽出されたエッジを、画像データの1フレームごとに(ステップ30を1回実行するごとに)順次記録したものである。図7(a)は、履歴を模式的に表す。フレーム3、4、5、6は、それぞれ、画像データの1フレーム分のエッジを表す。履歴に記録された順序は、古い方から、フレーム3、4、5、6の順である。フレーム3、4、5、6は、それぞれ、自車両が走行しているときに取り込まれるから、自車両の進行方向に関し、フレーム3は最も後方を撮影したフレームであり、フレーム6は最も前方を撮影したフレームである。履歴におけるフレーム3、4、5、6の間隔(図7(a)では上下方向の間隔)は、全体として道路の鳥瞰図(例えば図6(a)、(b))となるように設定される。
【0031】
本ステップ70における履歴の更新を図7及び図8を用いて説明する。履歴が図7(a)に示す状態において、新たにフレーム7のエッジが抽出されたとする。このフレーム7は、ピッチングが生じていないフレームである。図7(b)に示すように、フレーム7のエッジが、最も新しいフレームのエッジとして履歴に追加される。そして、最も古いフレーム3のエッジは削除される。フレーム4、5、6の位置は1つずつ、記録の順番が古い方へ(自車両の後方に対応する方向へ)ずれる。図8(a)に、本ステップ70における履歴の更新の例を示す。図8(a)において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。
【0032】
ステップ80では、履歴を更新する。本ステップ80における履歴の更新を、図7及び図8を用いて説明する。履歴が図7(a)に示す状態において、新たにフレーム7のエッジが抽出されたとする。このフレーム7は、ピッチングが生じているフレームである。図7(c)に示すように、フレーム7のエッジに代えて、その1回前に撮影されたフレーム6のエッジが、最も新しいフレームのエッジの位置に記憶される。そして、最も古いフレーム3のエッジは削除される。フレーム4、5、6の位置は1つずつ、記録の順番が古い方へ(自車両の後方に対応する方向へ)ずれる。図8(b)に、本ステップ80における履歴の更新の例を示す。図8(b)において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。
【0033】
3.白線認識装置1が奏する効果
白線認識装置1は、ピッチングが発生したフレームのエッジを履歴に含めない。そのため、図9に示すように、ピッチングが発生した場合でも、履歴に記憶されたエッジは内側に入り込んでいない。白線認識装置1は、そのような履歴を用いて白線を認識するので、図9及び図10に示すように、ピッチングが発生した場合でも、白線を正確に認識することができる。
【0034】
なお、前記ステップ40では、上述したように、直前のステップ30で抽出したエッジ(ピッチングの影響を受けている可能性のあるエッジ)も用いて白線を認識するが、複数のフレームのエッジを記録した履歴に比べれば白線の認識に与える影響は小さいため、仮に、直前のステップ30において、ピッチングが発生したときのフレームからエッジを抽出したとしても、白線の認識が大きくずれてしまうことはない。
【0035】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、他の方法でピッチングを検出してもよい。例えば、自車両に搭載されたGセンサ、ダンパ圧力センサ、エアサス圧力センサ等によりピッチングを検出してもよい。
また、各フレームの画像において、一対の互いに平行な直線(例えばガードレール)のFOEを算出し、そのFOEのフレーム間における上下動によりピッチングを検出してもよい。
【0036】
また、前記ステップ40では、履歴に記憶されたエッジのみを用いて白線を認識してもよい。
【符号の説明】
【0037】
1・・・白線認識装置、3・・・カメラ、5・・・電源装置、7・・・画像ECU、
9・・・警報装置
【特許請求の範囲】
【請求項1】
自車両の前方の道路を含む領域の画像を撮影する撮影手段と、
前記撮影手段により撮影される画像の1フレームごとに、道路における白線のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記白線のエッジを、前記1フレームごとに順次記録し、前記白線のエッジの履歴を作成する履歴作成手段と、
前記白線のエッジの履歴を用いて、前記白線を認識する白線認識手段と、
前記自車両のピッチングを検出するピッチング検出手段と、
を備え、
前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジは、前記履歴に含めないこと
を特徴とする白線認識装置。
【請求項2】
前記ピッチング検出手段は、前記1フレームごとに、前記白線のエッジに関する一対の近似直線を算出し、その一対の近似直線における消失点の位置に基づき、前記ピッチングを検出すること
を特徴とする請求項1記載の白線認識装置。
【請求項3】
前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジに代えて、その1回前に撮影されたフレームにおける前記白線のエッジを記録することを特徴とする請求項1又は2記載の白線認識装置。
【請求項1】
自車両の前方の道路を含む領域の画像を撮影する撮影手段と、
前記撮影手段により撮影される画像の1フレームごとに、道路における白線のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記白線のエッジを、前記1フレームごとに順次記録し、前記白線のエッジの履歴を作成する履歴作成手段と、
前記白線のエッジの履歴を用いて、前記白線を認識する白線認識手段と、
前記自車両のピッチングを検出するピッチング検出手段と、
を備え、
前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジは、前記履歴に含めないこと
を特徴とする白線認識装置。
【請求項2】
前記ピッチング検出手段は、前記1フレームごとに、前記白線のエッジに関する一対の近似直線を算出し、その一対の近似直線における消失点の位置に基づき、前記ピッチングを検出すること
を特徴とする請求項1記載の白線認識装置。
【請求項3】
前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジに代えて、その1回前に撮影されたフレームにおける前記白線のエッジを記録することを特徴とする請求項1又は2記載の白線認識装置。
【図1】
【図2】
【図4】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図4】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−170750(P2011−170750A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−35930(P2010−35930)
【出願日】平成22年2月22日(2010.2.22)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願日】平成22年2月22日(2010.2.22)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]