説明

車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム

【課題】ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供する。
【解決手段】走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の前記部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムに関する。
【背景技術】
【0002】
車両の車線変更を検出する車線変更検出装置が、特許文献1(特開2007−241468)に記載されている。この車線変更検出装置は、車両の前方若しくは後方の路面を撮像する撮像手段と、当該撮像手段により撮像された画像を処理して路面の車線区分線を認識する認識手段と、車線変更の開始を検出する検出手段とを備える。前記検出手段が車線変更の開始を検出しない場合には、前記認識手段が、車両の両側に位置する車線区分線の双方を認識する。前記検出手段が車線変更の開始を検出した後は、前記認識手段が車線変更の開始時に車両の両側に位置する車線区分線のうち車線変更方向側に位置する車線区分線のみを認識する。
【0003】
また、関連技術として、特許文献2(特開2002−29347)には、車線変更の判断を速やかに行うことができる車両用走行区分線検出装置を提供することを課題とした技術が記載されている。
【0004】
他の関連技術として、特許文献3(特開2006−12191)には、走行区分線を精度良く正確に認識できることを課題とした技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−241468号公報
【特許文献2】特開2002−29347号公報
【特許文献3】特開2006−12191号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
車線変更が行われたか否かは、精度良く識別されることが望まれる。しかし、撮像装置によって撮像した画面の中には、ノイズが含まれることがある。そのようなノイズにより、車線区画線が誤検出されてしまうことがある。
【0007】
そこで、本発明の目的は、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明に係る車線区画線検出装置は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、時刻t0における原画像である第1画像から抽出された部分画像と、前記時刻t0よりも過去における前記原画像である過去画像から抽出された部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定する、検定手段とを具備する。
【0009】
本発明に係るカーナビゲーションシステムは、上述の車線区画線検出装置と、前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、前記位置把握部により把握された位置をユーザに通知する通知手段とを具備する。
【0010】
本発明に係るウィンカシステムは、上述の車線変更検出装置と、前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御するウィンカ制御手段とを具備する。
【0011】
本発明に係る車線区画線検出方法は、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップとを具備する。
【0012】
本発明に係る車線区画線検出プログラムは、走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得するステップと、前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出するステップと、時刻t0における原画像である第1画像の部分画像と、前記時刻t0よりも過去における前記原画像である過去画像の部分画像とに基づいて、車線区画線位置検出手段における検出結果を検定するステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0013】
本発明によれば、ノイズが存在する場合でも、正確に車線区画線を検出することのできる、車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラムが提供される。
【図面の簡単な説明】
【0014】
【図1】走行路を走行する車両を示す概略図である。
【図2】車線区画線検出装置の構成を示すブロック図である。
【図3】車線区画線検出装置を示す機能構成図である。
【図4】車線区画線検出方法を示すフローチャートである。
【図5】原画像を示す概念図である。
【図6】第2画像の生成方法を示す概念図である。
【図7】傾きの算出方法を示す概念図である。
【図8】(a)雨滴が存在する場合の原画像であり、(b)雨滴が存在する場合の第2画像である。
【図9】車線区画線位置検出部を示す機能構成図である。
【図10】車線区画線位置検出部の動作を示すフローチャートである。
【図11】第2画像生成部を示す機能構成図である。
【図12】傾き算出部を示す機能構成図である。
【図13】第2画像生成部及び傾き算出部の動作を示すフローチャートである。
【図14】第2画像生成部の動作を説明するための説明図である。
【図15】傾き算出部の動作を説明するための説明図である。
【図16】比較部を示す機能構成図である。
【図17】比較部の動作を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下に、図面を参照しつつ、本発明の実施形態について説明する。
【0016】
本実施形態に係る車線区画線検出装置13は、車両(走行体)が車線変更を行ったか否かを検出する装置であり、車両10に備えられる。図1は、走行路3を走行する車両10を示す概略図である。走行路3には、車線を区分けする車線区分線2が設けられている。車両10は、ウィンカ4と、カメラ1とを備えている。カメラ1は、車両10の進行方向とは反対側に向かって、走行路3を撮像する。撮像された画像は、車線区画線検出装置13に通知される。車線区画線検出装置13は、撮像された画像に基づいて車線変更が行われたか否かを検出する。車線区画線検出装置13による検出結果は、ウィンカ4の制御や、図示しないカーナビゲーションシステムに用いられる。
【0017】
図2は、車線区画線検出装置13の構成を示すブロック図である。車線区画線検出装置13は、CPU5、RAM(Random access memory)、記憶部8、及び入出力インタフェース9を有するコンピュータにより実現される。RAMには、車線区画線検出プログラム6が格納されている。車線区画線検出プログラム6は、例えばCD−ROMなどの記憶メディアから、予めRAM6にインストールされている。車線区画線検出装置13は、車線区画線検出プログラム6がCPU5によって実行されることにより、その機能を実現する。入出力インタフェース9は、カメラ1、カーナビゲーション装置24、及びウィンカ制御装置12に接続されている。車線区画線検出装置13は、入出力インタフェース9を介して、カメラ1、カーナビゲーション装置24、及びウィンカ制御装置12との間の通信を行う。記憶部8は、ハードディスクやROM(Read Only Memory)に例示される。記憶部8には、車線区画線検出プログラム6により使用される各種データが格納される。
【0018】
図3は、車線区画線検出装置13の機能構成を示す機能ブロック図である。車線区画線検出装置13は、原画像取得部14と、車線区画線位置検出部15と、車線変更判断部16と、検定部19とを備えている。検定部19は、第2画像生成部18と、傾き算出部21と、比較部23とを備えている。
【0019】
記憶部8には、原画像群と、相対位置データとが、それぞれ時刻と対応付けられて格納されている。
【0020】
図4は、車線区画線検出装置13の動作方法を示すフローチャートである。
【0021】
ステップS10;原画像の取得
原画像取得部14は、カメラ1により撮像されて得られた画像を、原画像28として取得する。図5は、原画像28を示す概念図である。原画像28中には、車両10から離れた領域が写された遠方領域と、車両10に近い領域が写された近傍領域とが含まれている。原画像取得部14は、所定の時間間隔で、原画像を取得する。原画像取得部14は、取得した原画像を、取得した時刻と対応付けて、記憶部8に格納する。これにより、記憶部8には、複数の原画像(原画像群)が、時刻と対応付けられて格納される。
【0022】
ステップS20;車線区画線の検出
現在時刻t0において原画像が取得されたとする。時刻t0における原画像が、以下、第1画像と記載される。車線区画線位置検出部15は、第1画像に基づいて、車線区画線2の車両10からの相対位置を検出する。車線区画線位置検出部15は、検出した相対位置に現在時刻t0を対応付け、相対位置データとして記憶部8に格納する。このような処理を所定の時間間隔で行うことにより、記憶部8には、複数の時刻のそれぞれについて、相対位置データが格納されることになる。
【0023】
ステップS30;車線区画線を越えたか否かの判断
車線変更判断部16は、相対位置データに基づいて、時刻t0までの相対位置を時系列的に追跡し、車線変更が行われたか否かを判断する。車線変更判断部16は、車線変更が行われたと判断した場合、その旨を判断結果として検定部19に通知する。
【0024】
ステップS30における車線変更が行われたか否かの判断は、時刻t0における相対位置が正しく検出されていることが前提となる。そこで、以下のステップS40以降の処理により、相対位置が正しく検出されているか否かが検定され、車線変更の判断結果が検定される。
【0025】
ステップS40;第2画像の生成
第2画像生成部18が、第1画像の部分画像に基づいて、第2画像を生成する。第2画像は、原画像の撮像方向とは異なる視点で走行路3を見たときの画像である。具体的には、第2画像は、原画像28に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像である。第2画像は、現在時刻t0に取得された第1画像の部分画像と、過去に取得された原画像の部分画像とに基づいて得られる。図6は、本ステップにおける動作を示す概念図である。本ステップの動作について以下に詳述する。
【0026】
図6に示されるように、現在時刻t0において原画像28(t0)(第1画像)が取得されたとする。また、現在時刻t0よりも過去の時刻t1に、原画像28(t1)が取得されたとする。また、時刻t1において、原画像28(t1)に基づいて、第2画像27(t1)が生成されていたとする。
【0027】
第2画像生成部18は、前時刻t1で生成された第2画像27(t1)の各画素を、車両10の移動距離に対応する量だけ、遠方方向に移動させ、第2画像27(t1)*を生成する。第2画像27(t1)の車両近傍領域は、ブランクになる。
【0028】
次に、第2画像生成部18は、第1画像28(t0)の近傍領域を、鉛直方向下向きの視線で見た場合の画像(すなわち鳥瞰画像)に変換し、第2画像27(t1)のブランク部分に付加する。これにより、時刻t0における第2画像27(t0)が生成される。
【0029】
上述の処理は、原画像28が取得されるたびに実行される。すなわち、時刻tにて原画像28(t)が取得されるたびに、第2画像27(t)が生成されることになる。従って、時刻t1における第2画像27(t1)も、時刻t1以前に取得された原画像28の部分画像に基づいて生成された画像である。すなわち、第2画像27(t0)は、第1画像の部分画像と、時刻t0以前に取得された原画像28の部分画像とが、画像として接続されたものであるといえる。
【0030】
このようにして得られた第2画像27(t0)は、原画像28における近傍領域だけを含み、遠方領域を含んでいない。原画像28中において、遠方領域は、近傍領域よりも、ノイズが含まれている可能性が高い。従って、第2画像27では、遠方領域に起因するノイズが排除されている。
【0031】
尚、第2画像27としては、原画像もしくは原画像の代わりに原画像から生成した(合成でない)鳥瞰画像、もしくはこれらにフィルタ等の処理を施した処理画像を用いることも可能である。また、第2画像27としては、画像27(t0)に対して更にフィルタ処理などが施された画像が用いられてもよい。
【0032】
第2画像生成部18は、生成した第2画像27を検定部19へ通知する。
【0033】
続いて、ステップS50以降の処理について説明する。図7は、ステップS50〜70における動作を説明する為の概念図である。
【0034】
ステップS50;傾きの算出
時刻t2から時刻t0にかけて、車両10が車線変更を行ったとする。このとき、図7(a)に示されるように、時刻t2において原画像28(t2)が、時刻t1において原画像28(t1)が、時刻t0において第1画像28(t0)が、それぞれ生成される。車線変更が行われている場合、各原画像28(t2〜t0)において、車線区画線2の車両10に対する相対位置は移動する。車両10の走行速度が適当な速度であれば、図7(b)に示されるように、第2画像27(t0)内では、車線区画線2が斜めに延びるように示される。ステップS60では、傾き算出部21が、この車線区画線2の傾きを算出する。算出された傾きは、比較部23に通知される。
【0035】
ステップS60;矛盾があるか否かの判断
ステップS50で算出された傾きは、時刻と車線区画線2の相対位置との関係に対応するはずである。従って、比較部23は、相対位置データを参照して、算出された傾きが相対位置データと矛盾しているか否かを判定する。
【0036】
ステップS70;比較
ステップS60にて、矛盾がなければ、車線区画線位置検出部15における検出結果は、正しいと考えられる。従って、車線変更判断部16における判断結果も、正しいと考えられる。車線変更判断部16が車線変更が行われたと判断した場合であれば、比較部23は、その判断結果が正しいものであると検定する。すなわち、車線変更が行われた旨を出力する。一方、ステップS60にて矛盾があった場合には、車線区画線位置検出部15における検出結果は、誤りであると考えられる。そのため、比較部23は、車線変更判断部16における判断結果を、誤りであると検定する。比較部23は、仮に車線変更判断部16が車線変更が行われたと判断した場合であっても、車線変更は行われていないと判断する。
【0037】
比較部23は、車線変更が行われたと判断した場合には、その旨をウィンカ制御装置12、及びカーナビゲーション装置24に通知する。
【0038】
ウィンカ制御装置12は、ウィンカ4を制御する。例えば、車線変更開始時には、通常、ウィンカ4が点滅させられる。このような場合に、ウィンカ制御装置12は、車線変更が行われた(終了した)旨の通知に応じて、ウィンカ4を消灯する。
【0039】
カーナビゲーション装置24は、位置把握部25と、通知部26と、表示装置11(例えばディスプレイ)とを備えている。カーナビゲーション装置24では、車線変更が行われた旨が通知されると、位置把握部25が車両10の現在位置を把握する。そして、通知部26が、把握した現在位置に基づいて、表示装置11に現在位置を表示させ、ドライバーに現在位置を通知する。
【0040】
以上説明したように、本実施形態によれば、検定部19が、第2画像27に基づいて、車線区画線位置検出部15で検出された相対位置が正しい位置であるか否かを検定する。第2画像28は、ノイズが含まれ易い遠方領域を含んでいない。従って、車線区画線位置検出部15による検出結果が遠方領域のノイズによって影響を受けていたとしても、検定部9によってそのノイズの影響を排除することができる。ノイズが存在する場合でも、正確に車線区画線2の相対位置を検出することができ、車線変更が行われたか否かを正確に判断することができる。
【0041】
また、本実施形態では、原画像28とは視点が異なる第2画像27に基づいて、検定が行われる。原画像28と第2画像27とでは、その性質が異なっているため、それぞれの画像において出現するノイズに起因した誤検出を抑制することができる。この点について、以下に詳述する。
【0042】
遠方領域に起因するノイズを削除する観点からは、第2画像27だけを利用して、車線区画線2の位置を検出すればよいと考えられる。しかし、第2画像27だけを利用した場合には、別の観点からノイズの影響を受けてしまい易くなることがある。例えば、図8(a)に示されるように、原画像28中における手前部分(近傍領域)に、雨滴36等が写っていたとする。このような雨滴等は、原画像28の同一位置に留まりやすい。その結果、第2画像27中においては、図8(b)に示されるように、雨滴36部分が、車線区画線2のように直線状に写ってしまいやすい。そのため、第2画像27だけを利用して車線区画線2の位置を検出した場合には、このような雨滴36等がノイズとなり、誤検出が発生しやすい。これに対して、雨滴36等によるノイズは、原画像28中では部分的なノイズであり、車線区画線2とは容易に区別される。
【0043】
すなわち、本実施形態によれば、撮像方向とは異なる方向から走行路3を見たときの画像(第2画像)を用いることにより、原画像及び第2画像のそれぞれの画像に由来する誤検出の原因を相殺することができる。その結果、ノイズが存在する場合でも、正確に車線変更が行われたか否かを検出することができる。
【0044】
(実施例)
次に、本発明をより詳細に説明する為に、実施例について説明する。
【0045】
実施の形態にて説明したように、本実施例に係る車両10には、後部に、進行方向とは逆方向を向いたカメラ1が備えられているものとする(図1参照)。本実施例に係る車線区画線検出装置13は、車線区画線2が車両10前方を相対的に横方向に通過する事象、すなわち、車両10が車線区画線2を跨ぐ事象を検出する装置である。
【0046】
本実施例に係る車両検出装置13の構成は、概略的には、実施形態に係る車両検出装置13(図3参照)と同様である。但し、本実施例では、各構成要素を、より具体的に説明する。
【0047】
まず、車線区画線位置検出部15及び車線変更部16の構成、動作について詳述する。
【0048】
図9は、車線区画線位置検出部15を具体的に示す機能構成図である。車線区画線位置検出部15は、原画像2値化部15−1と、Hough変換部15ー2と、左右自車車線区画線選択部15−3とを含んでいる。
【0049】
図10は、車線区画線位置検出部15及び車線変更判断部16における動作を詳細に示すフローチャートである。すなわち、ステップS20及びステップS30の動作を詳細に示すフローチャートである。
【0050】
ステップS21;原画像の取得
時刻tにおいて、車線区画線位置検出部15が、処理対象の原画像28(t)を取得したとする。
【0051】
ステップS22;2値化
原画像2値化部15−1が、原画像28(t)を2値化し、原画像28(t)に含まれる各画素を、前景と背景とに分類する。例えば、原画像28(t)に含まれる各画素の階調数が256であったとする。この場合、原画像2値化部15−1は、各画素の輝度値を求め、輝度値が200以上である画素を前景に分類し、それ以外の画素を背景に分類する。
【0052】
ステップS23;Hough変換
次に、Hough変換部15−2が、前景の画素を特徴点としてHough変換を行い、直線群を検出する。
【0053】
ステップS24;車線区画線の識別
次に、左右車線区画線選択部15−3が、検出された直線群に基づいて、車両10に対して左右の車線区画線2を識別する。例えば、左右自車車線区画線選択部15−3はHough変換部15−2により検出された直線群のうち、Hough時における投票値が多い直線を、左右の車両区画線2として識別する。又は、前時刻の左右の車線区画線2に最も近い直線を、左右の車両区画線2として識別する。そして、識別した車両区画線2の位置を、相対位置データとして、時刻tと対応付けて記憶部8に格納する。
【0054】
車線区画線位置検出部15は、以上のステップS21〜24までの処理を、原画像取得部14によって原画像が取得されるたびに行う。
【0055】
尚、車線区画線位置検出部15の具体的構成は、上述の構成に限定されるものではない。車線区画線位置検出部15は、左右の車線区画線2らしい高輝度の線分又は直線を検出することができるように構成されていればよい。
【0056】
ステップS30;車線区画線を跨いだか否かの判断
現在時刻t0における処理に着目する。現在時刻t0において、車線変更判断部16は、車両10が左右どちらかの車線区画線2を跨いだか否かを判断する。具体的には、車線変更判断部16は、相対位置データを参照し、左右の車線区画線2の時刻t0までの相対位置を、時系列に把握する。車線変更判断部16は、時刻t0において、左右の車線区画線2のうちのいずれかが車両10の正面中央を含む所定の範囲(例えば、車両正面中央を中心とした±70cmの範囲)を超えた場合に、車両10が車線区画線2を跨いだと判断する。
【0057】
続いて、第2画像生成部18及び傾き算出部21の構成及び動作を詳述する。
【0058】
図11は、第2画像生成部18を具体的に示す機能構成図である。第2画像生成部18は、画素移動部18−1と、鳥瞰化部18−2と、領域付加部18−3とを含んでいる。
【0059】
図12は、傾き算出部21を具体的に示す機能構成図である。傾き算出部21は、区画線位置変換部21−1と、第2画像内傾き算出部21−2とを含んでいる。
【0060】
図13は、第2画像生成部18及び傾き算出部21の動作を示すフローチャートである。すなわち、ステップS40〜ステップS50の動作を示すフローチャートである。
【0061】
ステップS41;画素の移動
時刻t0における処理に着目する。画素移動部18−1は、図6で示したように、時刻t0よりも過去の時刻t1に得られた第2画像27(t1)の各画素を、車両10の移動量に応じて、遠方に移動させる。例えば、第2画像27(t1)の最下部(車両の近傍方向端部)が、カメラ1の先端から1m離れた位置に対応するものとする。また、一つの画素が、道路面の縦5cm、横5cmに対応するものとする。また、車両10の前時刻t1からの移動量が、50cmであったとする。このような場合には、画素移動部18−1は、第2画像27(t1)中の各画素を、遠方方向側に10pixel移動させる。
【0062】
ステップS42;鳥瞰画像化
鳥瞰化部18−2は、第1画像28(t0)の近傍領域を鳥瞰画像化する。この際、その近傍領域の範囲は、実世界における車両10の移動量に対応する範囲でなければならない。
【0063】
以下に、鳥瞰画像化について詳述する。図14は、鳥瞰化部18−2の動作を説明する為の説明図である。
【0064】
図14に示されるように、鳥瞰化部18−2は、カメラ1の撮像座標系を定める。本実施例においては、撮像の際の実世界から原画像への変換は、透視変換であるものとする。また、レンズ等の歪み等による他の変換の要因はないものとする。図14において、実世界の座標系がXYZで表され、原画像座標系がxyと表される。ここで、X軸とx軸、Y軸とy軸はそれぞれ平行である。また、透視変換における焦点距離が、fとして表される。また、道路面32は、Y軸に対して垂直な平面をなすものとする。実世界座標系の原点から道路面32までの距離が、Hとして表される。この場合、道路面32上の点(Xi、H、Xi)に対応する原画像内の座標(xi、yi)は、次式(1)により表現される。
【0065】
【数1】

【0066】
鳥瞰画像は、道路面32を実世界で鉛直方向下向きの視線で見た場合の画像である。すなわち、道路面32上の実世界座標を、適当な間隔(例えば縦5cm、横5cm)により、量子化したものである。従って、部分画像を変換画像へ変換するために、鳥瞰化部18−1は、上式(1)により、変換画像要素内の各画素が第1画像内のどの画素に対応しているかを求める。そして、鳥瞰化部18−1は、変換画像要素内の各画素の輝度を、対応する第1画像内の画素の輝度に設定する。なお、カメラの撮像座標系において、透視変換以外の変換要因、例えばレンズの歪み等が存在する場合は、式(1)の代わりに、変換要因を考慮した変換式を用いればよい。
【0067】
ステップS43;ブランク部分に付加
領域付加部18−3は、鳥瞰画像を、画素が移動された第2画像27(t1)のブランク部分に、付加する。これにより、時刻t0における第2画像27(t0)が得られる。
【0068】
続いて、傾き算出部21の動作について説明する。
【0069】
ステップS51;車線区画線の位置の変換
前記区画線位置変換部21−1は、相対位置データを参照し、原画像28(t0)に基づいて得られた車線区画線2の位置(時刻t0の相対位置)を、例えば式(1)に基づき、第2画像27(t0)内における位置に変換する。
【0070】
ステップS52;車線区画線の像の角度の算出
第2画像内傾き算出部21−2は、第2画像27(t0)内での車線区画線2の傾きを算出する。以下に、第2画像内傾き算出部21−2の動作について詳述する。図15は、以下に、第2画像内傾き算出部21−2の動作を説明するための説明図である。
【0071】
ステップS51で得られた車線区画線2の第2画像27(t0)内における位置が、原画像内車線区画線位置33と定義される。第2画像内傾き算出部21−2は、原画像内車線区画線位置33を、第2画像27(t0)における手前切片(車両近傍側端部)に設定する。第2画像内傾き算出部21−1は、位置33から延びるように、車両区画線2を設定する。第2画像内傾き算出部21−1は、第2画像27内に設定される中心軸線(車両近傍側から遠方側へ延びる線)と、設定した車線区画線2とが成す角度θを求める。ここで、角度θは、予め設定される角度範囲35内で設定される。このようにして、第2画像27(t0)内において、車線区画線2の像の位置が表現される。車線区画線2は、例えば、車線区画線2における画素値の和が最大となるように、設定される。具体的な例を挙げれば、角度範囲35が、中心軸線から±30度の範囲に設定されたとする。第2画像内傾き算出部21−1は、その角度範囲35内で、1度刻みで、車線区画線2の候補を設定する。そして、車線区画線2の候補又は車線区画線2の候補の周辺(例示;車線区画線2の候補を中心とした左右20cmの範囲)における画素値の和を、計算する。そして、設定した車線区画線2の候補のうちで、画素値の和が最大となるような線を、車線区画線2として決定し、角度θを決定する。第2画像内傾き算出部21−1は、決定した角度θを、時刻t0における傾きとして出力する。
【0072】
第2画像内傾き算出部21−1は、上述の処理を、原画像28が取得されるたびに行う。尚、角度θの決定にあたって用いられる評価値としては、必ずしも画素値の和が用いられる必要はない。その評価値としては、車線区画線らしさが表現された値が用いられればよい。
【0073】
続いて、比較部23の構成及び動作を詳述する。図16は、比較部23の構成を詳細に示す機能構成図である。比較部23は、傾き変換部23−1と、推定移動量検定部23−2とを備えている。また、図17は、比較部23の動作を示すフローチャートであり、ステップS70における動作を示すフローチャートである。
【0074】
ステップS61;推定移動量Dの計算
比較部23では、傾き(角度θ)に基づいて、車線区画線2の横方向への推定移動量Dが計算される。
【0075】
現在時刻t0における処理について着目する。傾き変換部23−1は、前時間t1から現時刻t0までの単位期間(時刻t1〜t0)における車両10の走行距離をRtとして取得し、単位期間(時刻t1〜t0)における車線区画線2の相対位置の横方向への移動量Dtを、角度θを用いて、下記式(2)により計算する。Rtは、例えば、車両10に備えられた走行距離測定器から得られる。
【0076】
【数2】

【0077】
また、傾き変換部23−1は、相対位置データを参照し、車両区画線2の相対位置が、車両10の正面中央を含む所定の範囲(以下、第1範囲と記載する)に位置している期間を、第1期間として把握する。第1範囲は、例えば、車両10の正面中央から±70cmの範囲であり、予め記憶部8などに設定されている。次に、傾き変換部23−1は、第1期間における移動量Dtの総和を、推定移動量Dとして計算する。
【0078】
なお、推定移動量Dの計算方法は上述の方法に限定されるものではない。例えば、角度θに代えて、第1期間における角度θの平均値又は中央値が用いられてもよい。また、角度θに代えて、何らかの方法による角度θの推定値θaが用いられてもよい。また、傾き変換部23−1は、車線区画線2が第1範囲を通過した段階で、第1期間における車両10の走行距離Rを計算し、下記式(3)に従って推定移動量Dを求めてもよい。
【0079】
【数3】

【0080】
ステップS62;推定移動量の判定
推定移動量検定部23−2は、推定移動量Dを第1範囲の長さ(例えば140cm)と比較する。ステップS20にて車線区画線2の相対位置が正しく検出されていれば、推定移動量Dは第1範囲の長さに一致するはずである。従って、推定移動量検定部23−2は、推定移動量Dと第1範囲の長さとの差を求め、その差が所定の値(例えば、第1範囲の長さの20%)以内である場合には、車線区画線2の相対位置が正しく検出されていると判断する。そして、車線変更判断部16の判断結果は正しいと判断する。一方、推定移動量Dと第1範囲の長さとの差が所定の値よりも大きい場合には、車線区画線2の相対位置が誤って検出されたと判断する。この場合には、車線変更判断部16の判断結果が間違っていると判断する。
【0081】
ステップS70;検定結果の出力
その後、比較部23は、ステップS62の結果に基づいて、車線変更判断部16における判断が正しいと判断した場合にだけ、車線変更が行われた旨を出力する。
【0082】
以上、本発明の実施の形態、及び実施例について説明した。ただし、上述の実施の形態及び実施例は、本発明の趣旨を逸脱しない範囲内において、様々に変更可能である。例えば、上述の実施形態、及び実施例では、検出された車線区画線2の相対位置が、車線変更が行われたか否かの判断に用いられる場合について説明した。但し、本発明は、車線変更が行われたか否かの判断を行う装置に限定されるものではない。たとえば、検出された車線区画線2の相対位置が、車線区画線2が車両から相対的に移動したことを検出するために用いられてもよい。
【符号の説明】
【0083】
1 カメラ
2 車線区画線
3 走行路
4 ウィンカ
5 CPU
6 車線変更検出プログラム
7 記憶メディア
8 記憶部
9 入出力インタフェース
10 走行体(車両)
11 表示装置
12 ウィンカ制御装置
13 車線変更検出装置
14 原画像取得部
15 車線区画線位置検出部
15−1 2値化部
15−2 Hough変換部
15−3 左右自車車線区画線選択部
16 車線変更判断部
18 第2画像生成部
18−1 画素移動部
18−2 鳥瞰化部
18−3 領域付加部
19 検定部
20 第1移動量算出部
21 傾き算出部
21−1 区画線位置変換部
21−2 第2画像内傾き算出部
23 比較部
23−1 傾き変換部
23−2 推定移動量検定部
24 カーナビゲーション装置
25 位置把握部
26 通知部
27 第2画像
28 原画像
28(t0) 第1画像
29 近傍画像要素
30 画像面
31 道路面の世界座標原点からの距離
32 道路面
33 原画像内車線区画線位置
34 画像内角度
35 区画線角度範囲
36 水滴

【特許請求の範囲】
【請求項1】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得する、原画像取得手段と、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出する車線区画線位置検出手段と、
前記車線区画線位置検出手段により検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断する車線変更判断手段と、
時刻t0に取得された前記原画像である第1画像の部分画像を、前記原画像における撮像方向とは異なる第1方向から前記走行路を見たときの画像に変換して第1変換画像を生成し、前記時刻t0よりも過去における前記原画像である過去画像の部分画像を、前記第1方向から見たときの画像に変換して過去変換画像を生成し、前記第1変換画像と前記過去変換画像とを時刻順に画像として接続することにより第2画像を生成し、前記第2画像に基づいて前記車線変更判断手段の判断結果が正しいか否かを検定する、検定手段と、
を具備し、
前記検定手段は、
前記第2画像内に示される前記車線区画線の傾きを算出する傾き算出手段と、
前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出する、推定移動量算出手段と、
前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定する、比較手段とを備える
車線区画線検出装置。
【請求項2】
請求項に記載された車線区画線検出装置であって、
前記第1方向は、前記走行路を鉛直上方向から鉛直下方向に見たときの方向である
車線区画線検出装置。
【請求項3】
請求項1または2に記載された車線区画線検出装置と、
前記検定手段による検定結果に基づいて、前記走行体の位置を把握する位置把握手段と、
前記位置把握手段により把握された位置をユーザに通知する通知手段と、
を具備する
カーナビゲーションシステム。
【請求項4】
請求項1または2に記載された車線区画線検出装置と、
前記検定手段による検定結果に基づいて、前記走行体に設けられたウィンカを制御する
ウィンカ制御手段と、
を具備する
ウィンカシステム。
【請求項5】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得することと、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出することと、
前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断することと、
時刻t0に取得された前記原画像である第1画像の部分画像を、前記原画像における撮像方向とは異なる第1方向から前記走行路を見たときの画像に変換して第1変換画像を生成し、前記時刻t0よりも過去における前記原画像である過去画像の部分画像を、前記第1方向から見たときの画像に変換して過去変換画像を生成し、前記第1変換画像と前記過去変換画像とを時刻順に画像として接続することにより第2画像を生成し、前記第2画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定することと、
を具備し、
前記検定することは、
前記第2画像内に示される前記車線区画線の傾きを算出することと、
前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出することと、
前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定することとを備える
車線区画線検出方法。
【請求項6】
走行路を走行する走行体から前記走行路を撮像して得られた原画像を取得することと、
前記原画像に基づいて、前記走行路に含まれる車線区画線の前記走行体からの相対位置を検出することと、
前記検出された前記相対位置に基づいて、前記走行体が前記車線区画線を超えたか否かを判断することと、
時刻t0に取得された前記原画像である第1画像の部分画像を、前記原画像における撮像方向とは異なる第1方向から前記走行路を見たときの画像に変換して第1変換画像を生成し、前記時刻t0よりも過去における前記原画像である過去画像の部分画像を、前記第1方向から見たときの画像に変換して過去変換画像を生成し、前記第1変換画像と前記過去変換画像とを時刻順に画像として接続することにより第2画像を生成し、前記第2画像に基づいて前記走行体が前記車線区画線を超えたか否かの判断結果が正しいか否かを検定することと、
を具備し、
前記検定することは、
前記第2画像内に示される前記車線区画線の傾きを算出することと、
前記傾きに基づいて、所定期間における前記車線区画線の相対位置の移動量を、推定移動量として算出することと、
前記推定移動量に基づいて、車線区画線位置検出手段における検出結果を検定することとを備える
車線区画線検出方法を、コンピュータに実行させるための、車線区画線検出プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2011−17719(P2011−17719A)
【公開日】平成23年1月27日(2011.1.27)
【国際特許分類】
【出願番号】特願2010−207585(P2010−207585)
【出願日】平成22年9月16日(2010.9.16)
【分割の表示】特願2008−271813(P2008−271813)の分割
【原出願日】平成20年10月22日(2008.10.22)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】