説明

車線認識装置

【課題】車線認識の誤検出を防止する車線認識装置を提供することを課題とする。
【解決手段】自車両が走行中の車線を認識し(例えば、画像による車線認識)、認識した車線の情報(例えば、車線幅Ws)を取得し、自車両が走行中の車線の構造情報(例えば、車線幅Wm)を取得し、認識した車線の情報と取得した車線の構造情報とを比較して車線認識が誤認識か否かを判定し、車線認識が誤認識と判定した場合、自車両に対する先行車両又は/及び後続車両を認識し、先行車両又は/及び後続車両の自車両に対する横位置Xcを取得し、先行車両又は/及び後続車両の横位置Xcに基づいて車線の右側の区画線と左側の区画線のうちのいずれの側の区画線を誤認識したかを判別し、その判別結果に応じて認識した車線の情報を修正する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路上の車線を認識する車線認識装置に関する。
【背景技術】
【0002】
車線維持制御(レーンキープ)や車線逸脱警報等の運転支援を行う場合、車線(左右一対の白線等)を認識することが重要となる。特許文献1に記載の車線認識画像処理装置では、撮像手段で画像を撮像し、その撮像した画像を記憶し、記憶した画像に対してレーンマーキング探索範囲を設定し、その探索範囲からレーンマーキング候補点を抽出し、そのレーンマーキング候補点の座標を収差補正した座標に変換し、変換したレーンマーキング候補点の集合を数学的モデル式で近似してレーンマーキング数学モデル式を導出し、レーンマーキング数学モデル式から得られる車線認識結果を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−99541号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような車線認識では、探索範囲にある程度の幅を持たせており、その幅に余裕のある探索範囲から車線を認識する。これは、走行場所によっては道路の幅が異なるので、最小幅から最大幅までをカバーして車線を確実に認識するためである。このように幅に余裕がある探索範囲で車線を認識する場合、走行シーンによって車線を誤認識する可能性がある。例えば、路側に存在する壁等に白線が引かれており、車線の壁側の白線がかすれて認識困難になっている場合、中央分離帯等に存在するポール上部に反射テープがあり、車線のポール側の白線がかすれて認識困難な場合がある。このような壁に引かれた白線や反射テープ等が車線に平行して存在し、それが探索範囲内に入っていると、走行中の車線の実際の白線の位置と異なっている場合でも、それを白線と誤認識する可能性がある。このように車線を誤認識した場合、壁に引かれた白線や反射テープ等が車線に平行して存在し続けている間は、誤認識かどうかを判断できない。このように片方の白線を誤認識した場合、実際よりも車線幅が広く算出され、車線の中心位置もそれに応じて誤認識側の位置として算出される。その結果、例えば、その誤認識した車線の情報を車線維持制御や車線逸脱警報等の運転支援に利用した場合、運転支援の精度が低下する。
【0005】
そこで、本発明は、車線認識の誤検出を防止する車線認識装置を提供することを課題とする。
【課題を解決するための手段】
【0006】
本発明に係る車線認識装置は、道路上の車線を認識する車線認識装置であって、自車両が走行中の車線を認識し、車線の情報を取得する車線認識手段と、自車両が走行中の車線の構造情報を取得する構造情報取得手段と、車線認識手段で認識した車線の情報と構造情報取得手段で取得した車線の構造情報とを比較し、車線認識手段による認識が誤認識か否かを判定する判定手段とを備えることを特徴とする。
【0007】
この車線認識装置では、車線認識手段によって、自車両が走行している車線を認識し、車線の情報を取得する。車線は、左右一対の区画線(白線、黄線等)からなる。車線の情報は、例えば、車線の幅、曲率(カーブ半径)がある。この車線の情報には、運転支援装置等で利用する情報も含まれ、例えば、車線維持制御の場合には目標横位置、車線逸脱警報の場合には左側と右側の区画線の各位置がある。車線認識装置では、構造情報取得手段によって、自車両が走行している車線の構造情報を取得する。車線の構造情報は、車線固有の情報であり、例えば、車線の幅、曲率(カーブ半径)がある。そして、車線認識装置では、判定手段によって、認識した車線の情報と車線の構造情報(車線の情報としては真値)とを比較し、認識した車線の情報が間違っているか否か(車線認識手段による認識が誤認識か否か)を判定する。このように、車線認識装置では、認識した車線の情報と真値である車線の構造情報とを比較することにより、車線認識が誤認識か否かを高精度に判定でき、車線の誤認識を防止できる。その結果、車線の情報を利用して各種運転支援を行う場合、誤認識した車線の情報を用いて運転支援を行うことを防止できる。
【0008】
本発明の上記車線認識装置では、自車両に対する先行車両又は/及び後続車両を認識し、先行車両又は/及び後続車両の自車両に対する横位置を取得する他車両認識手段と、判定手段で車線認識手段による認識が誤認識と判定した場合、他車両認識手段で認識した先行車両又は/及び後続車両の横位置に基づいて車線の右側の区画線と左側の区画線のうちのいずれの側の区画線を誤認識したかを判別し、該判別結果に応じて車線認識手段で認識した車線の情報を修正する修正手段とを備える構成としてよい。
【0009】
この車線認識装置では、他車両認識手段によって、自車両の先行車両や後続車両を認識し、先行車両や後続車両の自車両に対する横位置を取得する。車両は、通常、運転者による操作あるいは運転支援による車両制御によって車線の中心付近(少なくとも車線内)を走行している。そこで、車線認識装置では、判定手段で誤認識と判定している場合、修正手段によって、認識した先行車両や後続車両の自車両に対する横位置(少なくとも一方の横位置又は両方の横位置)に基づいて車線の左右一対の区画線のうちのいずれの側の区画線を誤認識したかを判別し、その判別結果に基づいて認識した車線の情報を修正する。このように、車線認識装置では、先行車両や後続車両と自車両との相対的な横位置関係を利用することにより、誤認識している側の区画線を高精度に判別できるとともに車線の情報を高精度に修正することができる。この修正した車線の情報を利用して各種運転支援を行う場合、高精度な運転支援を行うことができ、車両のユーザに対する信頼性も向上する。
【0010】
本発明の上記車線認識装置では、自車両が走行している車線の位置を取得する車線位置取得手段と、判定手段で車線認識手段による認識が誤認識と判定した場合、車線位置取得手段で取得した車線の位置が最も左側の車線のときには車線の左側の区画線を誤認識したと判別し、車線位置取得手段で取得した車線の位置が最も右側の車線のときには車線の右側の区画線を誤認識したと判別し、該判別結果に応じて車線認識手段で認識した車線の情報を修正する修正手段とを備える構成としてもよい。
【0011】
この車線認識装置では、車線位置取得手段によって、自車両が走行している車線の位置を取得する。ここでは、走行路に複数の車線が存在する場合、自車両が走行中の車線が右側の車線か左側の車線かあるいはそれ以外の車線かの位置情報を取得する。車線を誤認識するのは、車線の外側の道路脇に白線に似た特徴を持つものが存在する場合であり、自車両が最も左側の車線かあるいは最も右側の車線を走行中に誤認識する確率が高い。そこで、車線認識装置では、判定手段で誤認識と判定している場合、修正手段によって、自車両が走行中の車線の位置が最も左側の車線のときには車線の左側の区画線を誤認識したと判別し、自車両が走行中の車線の位置が最も右側の車線のときには車線の右側の区画線を誤認識したと判別し、その判別結果に応じて認識した車線の情報を修正する。このように、車線認識装置では、自車両が走行中の車線の位置を利用することにより、誤認識している側の区画線を高精度に判別できるとともに車線の情報を高精度に修正することができる。
【発明の効果】
【0012】
本発明によれば、認識した車線の情報と真値である車線の構造情報とを比較することにより、車線認識が誤認識か否かを高精度に判定でき、車線の誤認識を防止できる。
【図面の簡単な説明】
【0013】
【図1】第1の実施の形態に係る車線維持制御装置の構成図である。
【図2】第1の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。
【図3】第2の実施の形態に係る車線維持制御装置の構成図である。
【図4】第2の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。
【図5】第3の実施の形態に係る車線維持制御装置の構成図である。
【図6】第3の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明に係る車線認識装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
【0015】
本実施の形態では、本発明を、車両に搭載される車線維持制御装置(レーンキープ装置)に組み込まれる車線認識機能に適用する。本実施の形態に係る車線維持制御装置は、カメラで撮像した画像から車線(左右一対の白線)を認識し、制御目標(自車両と車線中央とのずれ量)に基づいて操舵制御(電動パワーステアリング装置に目標操舵制御量を出力)する。特に、本実施の形態に係る車線維持制御装置は、画像による車線認識が誤認識か否かを判定し、誤認識と判定した場合には左右どちらの側の白線を誤認識しているかを判別し、その判別結果に応じて制御目標を修正する。本実施の形態には、誤認識側の判別方法と制御目標の修正方法が異なる3つの形態があり、第1の実施の形態が先行車両の横位置情報を用いる形態であり、第2の実施の形態が先行車両と後続車両の横位置情報を用いる形態であり、第3の実施の形態が自車両の高精度な位置情報と車線数に基づく車線の位置を用いる形態である。
【0016】
図1を参照して、第1の実施の形態に係る車線維持制御装置1について説明する。図1は、第1の実施の形態に係る車線維持制御装置の構成図である。
【0017】
車線維持制御装置1は、車載カメラの画像から認識した車線の車線幅と地図情報から取得した自車両走行中の車線の車線幅(車線の構造情報)とを比較し、画像による車線認識が誤認識か否かを判定する。画像による車線認識が誤認識の場合、車線維持制御装置1は、自車両前方を撮像するカメラの画像から認識した先行車両の横位置を利用して、誤認識した側の白線を判別し、その判別結果に応じて車線維持のための制御目標(目標横位置)を修正する。車両は、通常、運転者による操作あるいは運転支援による車両制御によって車線の中心付近を走行しているので、先行車両等の横位置を利用することによって誤認識している側の判別や修正ができる。なお、自車両前方を撮像するカメラを用いて白線認識や先行車両認識を行うが、自車両後方を撮像するカメラを用いて白線認識や後続車両認識を行い、後続車両の横位置を用いて判別や修正を行ってもよい。
【0018】
車線維持制御装置1は、GPS[Global Positioning System]受信機10、前方カメラ11、地図データベース20、走路情報出力手段30、白線認識手段31、車両認識手段32、白線誤認識検出手段33、制御目標修正手段34、車両制御手段35を備えている。各手段30,31,32,33,34,35は、マイクロコンピュータ等のコンピュータによって各手段用のアプリケーションプログラムを実行することによって構成される。また、地図データベース20及び各手段30,31,32,33,34,35は、複数個あるいは1個のECU[Electronic Control Unit]に組み込まれる。
【0019】
なお、第1の実施の形態では、前方カメラ11及び白線認識手段31が特許請求の範囲に記載する車線認識手段に相当し、前方カメラ11及び車両認識手段32が特許請求の範囲に記載する他車両認識手段に相当し、GPS受信機10、地図データベース20及び走路情報出力手段30が特許請求の範囲に記載する構造情報取得手段に相当し、白線誤認識検出手段33が特許請求の範囲に記載する判定手段に相当し、制御目標修正手段34が特許請求の範囲に記載する修正手段に相当する。
【0020】
GPS受信機10は、GPSアンテナや処理装置等を備えている。GPS受信機10では、GPSアンテナで各GPS衛星からのGPS信号を受信する。そして、GPS受信機10では、処理装置でその各GPS信号を復調し、その復調した各GPS情報に基づいて自車両の現在位置(緯度、経度)等を算出する。そして、GPS受信機10では、自車両の現在位置の情報を走路情報出力手段30に出力する。なお、GPS受信機10は、低コストの汎用のものでよく、現在位置の検出精度についても低精度(例えば、数10m程度)なものでよい。
【0021】
前方カメラ11は、車両の前方に取り付けられる。前方カメラ11では、車両の前方の道路を含む領域を撮像し、その撮像した画像(カラー画像でも、白黒画像でもよい)を取得する。前方カメラ11では、その撮像画像の情報を白線認識手段31と車両認識手段32に出力する。前方カメラ11は、左右方向に撮像範囲が広く、走行している車線の左右一対の白線を十分に撮像可能である。なお、前方カメラ11は、他のシステムと共用されるカメラでもよい。また、前方カメラは、複数台のカメラからなるステレオカメラでもよい。
【0022】
地図データベース20は、地図情報を格納するデータベースである。地図情報としては、道路の形状情報、道路の構造情報等がある。道路の構造情報としては、道路幅、車線幅、車線数、道路(車線)の曲率(カーブ半径)がある。道路(車線)の構造情報は、道路(車線)固有の情報であり、道路(車線)の情報の真値である。
【0023】
走路情報出力手段30では、GPS受信機10から入力した自車両の現在位置の情報を用いて、地図データベース20から現在位置周辺の地図情報を取得する。そして、走路情報出力手段30では、現在位置周辺の地図情報から自車両走行中の道路の車線幅Wmの情報を取得し、その車線幅Wmの情報を白線誤認識検出手段33に出力する。
【0024】
白線認識手段31では、前方カメラ11から入力した自車両前方の画像から、エッジ処理によって白線の候補点を抽出する。その候補点から自車両に対して左側の白線の形状及び右側の白線の形状を推定する。この際、処理負荷を軽減するために、候補点を抽出する範囲を設定し、その範囲内でのみ処理を行う。そして、白線認識手段31では、自車両の横方向の中央位置から左側の白線までの距離及び右側の白線までの距離をそれぞれ算出し、その左側の白線までの距離と右側の白線までの距離を用いて車線幅Ws、左右一対の白線の中央を通る線(車線中央)、その車線中央と自車両中央とのずれ量(目標横位置)を算出する。また、必要に応じて、白線認識手段31では、車線中央のカーブ半径を算出し、カーブ半径から道路曲率を算出する。そして、白線認識手段31では、認識した左右一対の白線の構造情報(車線幅Ws、車線中央、曲率)や制御目標(目標横位置)を白線誤認識検出手段33及び制御目標修正手段34に出力する。なお、白線を認識する処理としては、上記のエッジ処理以外の他の処理でもよい。
【0025】
車両認識手段32では、前方カメラ11から入力した自車両前方の画像から、車両のテンプレートを用いたパターンマッチングによって自車両前方を走行する先行車両を認識する。車両認識手段32では、先行車両を認識できた場合、自車両から先行車両までの相対距離Lc及び自車両中央に対する先行車両中央の相対横位置Xcを算出する。そして、車両認識手段32では、先行車両に関する情報(先行車両の有無、先行車両を存在する場合には相対距離Lc、相対横位置Xc等)を制御目標修正手段34に出力する。なお、車両を認識する処理としては、上記のパターンマッチング処理以外の他の処理でもよい。
【0026】
白線誤認識検出手段33では、走路情報出力手段30から入力した地図情報の車線幅Wm及び白線認識手段31から入力した認識した車線幅Wsを用いて、車線幅Wsから車線幅Wmを減算し、その減算値の絶対値が閾値αより大きいか否かを判定する。車線幅Wmは、車線固有の値であり、真値である。一方、車線幅Wsは、画像から認識した値であり、正しい値か否かは判らない。したがって、車線幅Wsが真値の車線幅Wmに対して誤差範囲以上に異なっていれば、車線を構成する左右一対の白線を間違って認識しており、画像による車線認識を誤認識と判定できる。閾値αは、車線幅Wmや車線の誤差範囲等を考慮して設定される。減算値の絶対値が閾値αより大きい場合、白線誤認識検出手段33では、白線認識手段31で行った認識を誤認識と判定する。一方、減算値の絶対値が閾値α以下の場合、白線誤認識検出手段33では、白線認識手段31で行った認識を正常な認識と判定する。正常な認識の場合、白線認識手段31で算出した目標横位置を制御目標としてそのまま用いる。
【0027】
制御目標修正手段34では、白線誤認識検出手段33で誤認識と判定した場合、車両認識手段32で先行車両の情報を取得できているか否かを判定する。車両認識手段32で先行車両の情報を取得できていない場合(例えば、先行車両が存在しない場合、先行車両は存在するが、先行車両との相対距離Lcや相対横位置Xcを正常に取得できなかった場合)、制御目標修正手段34では、先行車両の情報を用いて誤認識した車線に基づく目標横位置を修正できないので、車線維持制御を中断する。一方、車両認識手段32で先行車両の情報を取得できた場合、制御目標修正手段34では、自車両から先行車両までの相対距離Lcが閾値βより長いか否かを判定する。閾値βは、先行車両が追従対象の車両として信頼できる程度に離れていないことを判定するための閾値であり、予め設定される。この閾値βは、自車両の車速等に応じて可変としてもよい。
【0028】
先行車両までの相対距離Lcが閾値β以下の場合、先行車両を信頼できるので(先行車両に追従して走行してもよい)、制御目標修正手段34では、先行車両の相対横位置Xcを目標横位置として設定する。一方、先行車両までの相対距離Lcが閾値βより長い場合、先行車両を信頼できるほどではないので、制御目標修正手段34では、先行車両の相対横位置Xcが白線認識手段31で認識している車線中央に対して右側かあるいは左側かを判定する。先行車両の相対横位置Xcが車線中央に対して右側と判定した場合、白線認識手段31で認識した左右一対の白線のうち左側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が左側に寄っていると判断できるので、制御目標修正手段34では、白線認識手段31で認識した右側の白線を基準にし、その右白線からWm/2(真値の車線幅の2分の1)分左側の位置を目標横位置として設定する。一方、先行車両の相対横位置Xcが車線中央に対して左側と判定した場合、白線認識手段31で認識した左右一対の白線のうち右側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が右側に寄っていると判断できるので、制御目標修正手段34では、白線認識手段31で認識した左側の白線を基準にし、その左白線からWm/2分右側の位置を目標横位置として設定する。そして、制御目標修正手段34では、設定した目標横位置を制御目標として車両制御手段35に出力する。なお、白線誤認識検出手段33において白線認識手段31で行った認識を正常な認識と判定している場合、白線認識手段31で算出した目標横位置を制御目標としてそのまま出力する。
【0029】
車両制御手段35では、制御目標修正手段34から入力した目標横位置(制御目標)を用いて、目標横位置が零になるような目標操舵制御量を算出する。そして、車両制御手段35では、その目標操舵制御量を電動パワーステアリング装置に出力する。
【0030】
図1を参照し、図2のフローチャートに沿って、車線維持制御装置1の動作について説明する。図2は、第1の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。車線維持制御装置1では、以下に説明する動作を一定時間毎に繰り返し行う。
【0031】
GPS受信機10では、受信可能なGPS信号を受信し、受信できたGPS信号を用いて自車両の現在位置を算出し、その現在位置情報を走路情報出力手段30に出力している。また、前方カメラ11では、自車両前方を撮像し、その画像情報を白線認識手段31と車両認識手段32に出力している。
【0032】
白線認識手段31では、前方カメラ11の画像から左右一対の白線(車線)を認識し、車線幅Wsや目標横位置等を算出する(S10)。また、走路情報出力手段30では、GPS受信機10による現在位置に基づいて地図データベース20から現在位置周辺の地図情報を取得し、その地図情報から車線幅Wmを取得する(S11)。そして、白線誤認識検出手段33では、車線幅Wsから車線幅Wmを減算し、その減算値の絶対値が閾値αより大きいか否かを判定する(S12)。S12にて減算値の絶対値が閾値α以下と判定した場合、白線認識手段31で算出した目標横位置を制御目標とする。
【0033】
S12にて減算値の絶対値が閾値αより大きいと判定した場合、車両認識手段32では、前方カメラ11の画像から先行車両を認識し、先行車両を認識できた場合には先行車両の情報(相対距離Lc、相対横位置Xc)を算出する(S13)。そして、制御目標修正手段34では、先行車両情報を取得できているか否かを判定する(S14)。S14にて先行車両情報を取得できていないと判定した場合、車線維持制御を中断する。
【0034】
S14にて先行車両情報を取得できていると判定した場合、制御目標修正手段34では、先行車両までの相対距離Lcが閾値βよりも長いか否かを判定する(S15)。S15にて相対距離Lcが閾値βよりも長いと判定した場合、制御目標修正手段34では、先行車両の相対横位置Xcが車線中央に対して右側の場合には左白線を誤認識と判定し、正しい認識の右白線を基準にしてWm/2分左側の位置を目標横位置に設定し、先行車両の相対横位置Xcが車線中央に対して左側の場合には右白線を誤認識と判定し、正しい認識の左白線を基準にしてWm/2分右側の位置を目標横位置に設定する(S16)。一方、S15にて相対距離Lcが閾値β以下と判定した場合、制御目標修正手段34では、先行車両の相対横位置Xcを目標横位置に設定する(S17)。
【0035】
そして、車両制御手段35では、設定されている目標横位置が零になるような目標操舵制御量を算出し、その目標操舵制御量を電動パワーステアリング装置に出力する(S18)。電動パワーステアリング装置では、その目標操舵制御量に応じた操舵トルクを操舵機構に作用させる。その結果、自車両は、車線中央付近を走行し、車線内を維持する。
【0036】
この車線維持制御装置1によれば、画像から認識した車線の車線幅と地図情報から取得した真値の車線幅とを比較することにより、画像による車線認識が誤認識か否かを高精度に判定でき、車線の誤認識を防止できる。その結果、車線の情報を利用して車線維持制御を行う場合、誤認識した車線の情報を用いて車線維持制御を行うことを防止できる。
【0037】
さらに、車線維持制御装置1によれば、先行車両の相対横位置を利用することにより、誤認識している側の白線を高精度に判別できるとともに目標横位置を高精度に修正することができる。この修正した目標横位置を利用して車線維持制御を行うので、高精度な車線維持制御を行うことができ、車両のユーザに対する信頼性も向上する。
【0038】
また、車線維持制御装置1によれば、低精度のGPS受信機10を用いて構成できるので、コストを低減できる。なお、GPS受信機10による現在位置の精度が低く、例えば、実際の現在位置から数10m程度離れた位置の車線幅の情報を地図情報から取得したとしても、その取得した車線幅は実際の現在位置での車線幅と変わらないので、そのずれた位置での車線幅を用いても高精度な誤認識の判定は可能である。
【0039】
次に、図3を参照して、第2の実施の形態に係る車線維持制御装置2について説明する。図3は、第2の実施の形態に係る車線維持制御装置の構成図である。
【0040】
車線維持制御装置2は、画像による車線認識が誤認識か否かの判定は第1の実施の形態に係る車線維持制御装置1と同様の判定を行う。第1の実施の形態では、先行車両(あるいは、後続車両)の1台の車両の横位置情報を用いて誤認識側の白線の判別及び修正を行うが、その1台の車両が車線中央を走行していない場合がある。そこで、画像による車線認識が誤認識の場合、車線維持制御装置2は、誤認識側の白線の判別及び修正の精度を向上させるために、自車両前方を撮像するカメラの画像から認識した先行車両の横位置及び自車両後方を撮像するカメラの画像から認識した後続車両の横位置を利用して、誤認識した側の白線を判別し、その判別結果に応じて車線維持のための制御目標(目標横位置)を修正する。
【0041】
車線維持制御装置2は、GPS受信機10、前方カメラ11、後方カメラ12、地図データベース20、走路情報出力手段30、白線認識手段31,36、車両認識手段32,37、白線誤認識検出手段38、制御目標修正手段39、車両制御手段35を備えている。各手段30,31,32,35,36,37,38,39は、コンピュータによって各手段用のアプリケーションプログラムを実行することによって構成される。また、地図データベース20及び各手段30,31,32,35,36,37,38,39は、複数個あるいは1個のECUに組み込まれる。
【0042】
なお、第2の実施の形態では、前方カメラ11及び白線認識手段31や後方カメラ12及び白線認識手段36が特許請求の範囲に記載する車線認識手段に相当し、前方カメラ11及び車両認識手段32と後方カメラ12及び車両認識手段37が特許請求の範囲に記載する他車両認識手段に相当し、GPS受信機10、地図データベース20及び走路情報出力手段30が特許請求の範囲に記載する構造情報取得手段に相当し、白線誤認識検出手段38が特許請求の範囲に記載する判定手段に相当し、制御目標修正手段39が特許請求の範囲に記載する修正手段に相当する。
【0043】
後方カメラ12は、車両の後方に取り付けられる。後方カメラ12では、車両の後方の道路を含む領域を撮像し、その撮像した画像を取得する。後方カメラ12では、その撮像画像の情報を白線認識手段36と車両認識手段37に出力する。後方カメラ12は、左右方向に撮像範囲が広く、走行している車線の左右一対の白線を十分に撮像可能である。なお、後方カメラ12は、他のシステムと共用されるカメラでもよい。
【0044】
白線認識手段36では、後方カメラ12から入力した自車両後方の画像を用いて第1の実施の形態で説明した白線認識手段31と同様の処理を行い、認識した左右一対の白線の構造情報(車線幅Ws、車線中央、曲率)や制御目標(目標横位置)を白線誤認識検出手段38及び制御目標修正手段39に出力する。なお、前方カメラ11の画像を用いる白線認識手段31と後方カメラ12の画像を用いる白線認識手段36では同様に左右一対の白線の構造情報(車線幅Ws、車線中央、曲率)や制御目標(目標横位置)を算出するが、白線認識手段31と白線認識手段36のいずれか一方の情報を用いてもよいし、あるいは、白線認識手段31と白線認識手段36の各情報の平均値等を用いてもよい。または、白線認識手段31と白線認識手段36の一方だけで認識処理を行ってもよい。
【0045】
車両認識手段37では、後方カメラ12から入力した自車両後方の画像から、車両のテンプレートを用いたパターンマッチングによって自車両後方を走行する後続車両を認識する。車両認識手段37では、後続車両を認識できた場合、自車両から後続車両までの距離Lcr及び自車両中央に対する後続車両中央の相対横位置Xcrを算出する。そして、車両認識手段37では、後続車両に関する情報(後続車両の有無、後続車両を存在する場合には距離Lcr、相対横位置Xcr等)を制御目標修正手段39に出力する。
【0046】
白線誤認識検出手段38では、基本的には、第1の実施の形態で説明した白線誤認識検出手段33と同様の処理を行う。但し、判定に用いる画像認識による車線幅Wsについては、白線認識手段31と白線認識手段36のいずれか一方の車線幅を用いてもよいし、あるいは、白線認識手段31と白線認識手段36の各車両幅の平均値等を用いてもよい。
【0047】
制御目標修正手段39では、白線誤認識検出手段38で誤認識と判定した場合、車両認識手段32及び車両認識手段37の両方で車両の情報を取得できているか否か(認識できた車両の台数が2台か否か)を判定する。車両認識手段32及び車両認識手段37の両方で車両の情報を取得できていない場合(認識できた車両の台数が1台以下の場合)、制御目標修正手段39では、第1の実施の形態に係る制御目標修正手段34で行った同様の処理を行う。
【0048】
一方、車両認識手段32及び車両認識手段37の両方で車両の情報を取得できている場合(認識できた車両の台数が2台の場合)、制御目標修正手段39では、車両認識手段32で取得した先行車両までの相対距離Lcfが閾値β以下かつ車両認識手段37で取得した後続車両までの相対距離Lcrが閾値β以下か否かを判定する。先行車両までの相対距離Lcfが閾値β以下かつ後続車両までの相対距離Lcrが閾値β以下の場合、先行車両及び後続車両を信頼できるので、制御目標修正手段39では、先行車両の相対横位置Xcfと後続車両Xcrとを結ぶ線分上を自車両の目標横位置として設定する。例えば、線分における横方向の中央位置を目標横位置とする。ここでは、2台の横位置情報を利用しているので、2台の車両の横位置が車線中央に対してばらついていても平均化されるので、1台の場合よりも一方側に偏らない。
【0049】
一方、先行車両までの距離Lcfが閾値βより長い又は/及び後続車両までの距離Lcrが閾値βより長い場合、先行車両や後続車両を信頼できるほどではないので、制御目標修正手段39では、先行車両の相対横位置Xcfと後続車両の相対横位置Xcrが共に車線中央に対して右側の場合、白線認識手段31(又は白線認識手段36)で認識した左右一対の白線のうち左側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が左側に寄っていると判断できるので、白線認識手段31で認識した右側の白線を基準にし、その右白線からWm/2分左側の位置を目標横位置として設定する。また、制御目標修正手段39では、先行車両の相対横位置Xcfと後続車両の相対横位置Xcrが共に車線中央に対して左側の場合、白線認識手段31で認識した左右一対の白線のうち右側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が右側に寄っていると判断できるので、白線認識手段31で認識した左側の白線を基準にし、その左白線からWm/2分左側の位置を目標横位置として設定する。また、制御目標修正手段39では、先行車両の相対横位置Xcfと後続車両の相対横位置Xcrとが車線中央に対して逆方向と判定した場合、先行車両までの相対距離Lcfと後続車両までの相対距離Lcrのうち距離の近いほうの車両(信頼できるほうの車両)の相対横位置Xcを基準に誤認識側の白線を判別して修正する。この判別及び修正方法は、第1の実施の形態に係る制御目標修正手段34において行った先行車両までの相対距離Lcが閾値βより長い場合の処理と同様の処理を行う。そして、制御目標修正手段39では、設定した目標横位置を制御目標として車両制御手段35に出力する。
【0050】
図3を参照し、図4のフローチャートに沿って、車線維持制御装置2の動作について説明する。図4は、第2の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。車線維持制御装置2では、以下に説明する動作を一定時間毎に繰り返し行う。
【0051】
GPS受信機10では、受信可能なGPS信号を受信し、受信できたGPS信号を用いて現在位置を算出し、その現在位置情報を走路情報出力手段30に出力している。また、前方カメラ11では、自車両前方を撮像し、その画像情報を白線認識手段31と車両認識手段32に出力している。また、後方カメラ12では、自車両後方を撮像し、その画像情報を白線認識手段36と車両認識手段37に出力している。
【0052】
白線認識手段31では、前方カメラ11の画像から左右一対の白線(車線)を認識し、車線幅Wsや目標横位置等を算出する(S20)。白線認識手段36では、後方カメラ12の画像から左右一対の白線(車線)を認識し、車線幅Wsや目標横位置等を算出する(S20)。また、走路情報出力手段30では、GPS受信機10による現在位置に基づいて地図データベース20から現在位置周辺の地図情報を取得し、その地図情報から車線幅Wmを取得する(S21)。そして、白線誤認識検出手段38では、車線幅Wsから車線幅Wmを減算し、その減算値の絶対値が閾値αより大きいか否かを判定する(S22)。S22にて減算値の絶対値が閾値α以下と判定した場合、白線認識手段31(又は白線認識手段36)で算出した目標横位置を制御目標とする。
【0053】
S22にて減算値の絶対値が閾値αより大きいと判定した場合、車両認識手段32では、前方カメラ11の画像から先行車両を認識し、先行車両を認識できた場合には先行車両の情報(相対距離Lcf、相対横位置Xcf)を算出する(S23)。車両認識手段37では、後方カメラ12の画像から後続車両を認識し、後続車両を認識できた場合には後続車両の情報(相対距離Lcr、相対横位置Xcr)を算出する(S24)。そして、制御目標修正手段39では、先行車両情報及び後続車両情報を取得できているか否かを判定する(S25)。S25にて両方の車両情報を取得できていないと判定した場合(認識できている車両台数が1台以下の場合)、図2のフローチャートにおけるS14以降の処理を行う。なお、S14の処理では「先行車両情報を取得できているか否か」ではなく、「先行車両情報又は後続車両情報を取得できているか否か」を判定する。そして、S15、S16、S17の処理では、取得できている車両の情報を用いて処理を行う。
【0054】
S25にて先行車両情報及び後続車両情報を取得できていると判定した場合(認識できている車両台数が2台の場合)、制御目標修正手段39では、先行車両までの相対距離Lcfが閾値β以下かつ後続車両までの相対距離Lcrが閾値β以下か否かを判定する(S26)。S26にて相対距離Lcfが閾値β以下かつ相対距離Lcrが閾値β以下と判定した場合、制御目標修正手段39では、先行車両の相対横位置Xcfと後続車両の相対横位置Xcrとを結ぶ線分上を自車両の目標横位置に設定する(S27)。一方、S26にて相対距離Lcfが閾値βより長い又は/及び相対距離Lcrが閾値βより長いと判定した場合、制御目標修正手段39では、先行車両、後続車両の相対横位置Xcf,Xcrが共に車線中央に対して右側の場合には左白線を誤認識と判定し、正しい認識の右白線を基準にしてWm/2分左側の位置を目標横位置に設定し、相対横位置Xcf,Xcrが共に車線中央に対して左側の場合には右白線を誤認識と判定し、正しい認識の左白線を基準にしてWm/2分右側の位置を目標横位置に設定し、相対横位置Xcfと相対横位置Xcrとが車線中央に対して逆方向の場合には相対距離Lcが短いほうの車両の相対横位置Xcに基づいて誤認識側の白線を判定し、正しい認識の白線を基準にしてWm/2分の位置を目標横位置に設定する(S28)。
【0055】
そして、車両制御手段35では、設定されている目標横位置が零になるような目標操舵制御量を算出し、その目標操舵制御量を電動パワーステアリング装置に出力する(S29)。電動パワーステアリング装置では、その目標操舵制御量に応じた操舵トルクを操舵機構に作用させる。その結果、自車両は、車線中央付近を走行し、車線内を維持する。
【0056】
この車線維持制御装置2によれば、第1の実施の形態に係る車線維持制御装置1と同様の効果を有する上に以下の効果も有している。車線維持制御装置2によれば、自車両の前後の先行車両と後続車両を共に認識し、先行車両の情報と後続車両の情報を利用することにより、誤認識している側の白線をより高精度に判別できるとともに目標横位置をより高精度に修正することができる。また、先行車両と後続車両のうちの1台しか存在しない場合でも、第1の実施の形態に係る車線維持制御装置1と同程度の判別及び修正が可能である。
【0057】
次に、図5を参照して、第3の実施の形態に係る車線維持制御装置3について説明する。図5は、第3の実施の形態に係る車線維持制御装置の構成図である。
【0058】
車線維持制御装置3は、画像による車線認識が誤認識か否かの判定は第1の実施の形態に係る車線維持制御装置1と同様の判定を行う。第1の実施の形態及び第2の実施の形態では、自車両の前後に車両が存在していない場合あるいは車両を認識するセンサを備えていない場合、誤認識している側の白線の判別や目標横位置の修正ができない。そこで、画像による車線認識が誤認識の場合、車線維持制御装置3は、高精度な自車両の位置と走行路の道路構造情報(車線数)から自車両が走行中の車線位置を推定し、その車線位置を利用して、誤認識した側の白線を判別し、その判別結果に応じて車線維持のための制御目標(目標横位置)を修正する。つまり、車線を誤認識するのは、車線の外側の道路脇に白線に似た特徴を持つもの(例えば、道路に平行な壁に描かれた線、中央分離帯のポールに貼り付けられた反射テープ)が存在する場合であり、左端の車線又は右端の車線を自車両が走行中の場合には左側の白線又は右側の白線を誤認識する確率が高いので、自車両走行中の車線位置での判別及び修正が可能である。
【0059】
車線維持制御装置3は、GPS受信機10、前方カメラ11、慣性センサ13、車輪速センサ14、地図データベース21、走路情報出力手段40、白線認識手段31、白線誤認識検出手段33、高精度自車位置推定手段41、自車走行車線推定手段42、制御目標修正手段43、車両制御手段35を備えている。各手段40,31,33,41,42,43,35は、コンピュータによって各手段用のアプリケーションプログラムを実行することによって構成される。また、地図データベース21及び各手段40,31,33,41,42,43,35は、複数個あるいは1個のECUに組み込まれる。
【0060】
なお、第3の実施の形態では、前方カメラ11及び白線認識手段31が特許請求の範囲に記載する車線認識手段に相当し、GPS受信機10、地図データベース21及び走路情報出力手段40が特許請求の範囲に記載する構造情報取得手段に相当し、GPS受信機10、慣性センサ13、車輪速センサ14、地図データベース21、走路情報出力手段40、高精度自車位置推定手段41及び自車走行車線推定手段42が特許請求の範囲に記載する車線位置取得手段に相当し、白線誤認識検出手段33が特許請求の範囲に記載する判定手段に相当し、制御目標修正手段43が特許請求の範囲に記載する修正手段に相当する。
【0061】
慣性センサ13は、例えば、ジャイロセンサである。慣性センサ13では、自車両の旋回方向の角速度を検出する。そして、慣性センサ13では、角速度の情報を高精度自車位置推定手段41に出力する。
【0062】
車輪速センサ14は、各車輪に設けられる。車輪速センサ14では、車輪の回転速度(車輪速)を検出する。そして、車輪速センサ14では、車輪速の情報を高精度自車位置推定手段41に出力する。
【0063】
地図データベース21は、地図情報を格納するデータベースである。地図情報としては、第1の実施の形態に係る地図データベース20が格納する地図情報の他にマップマッチング用の地図情報も含む。
【0064】
走路情報出力手段40では、GPS受信機10から入力した自車両の現在位置の情報を用いて、地図データベース21から現在位置周辺の地図情報を取得する。そして、走路情報出力手段40では、現在位置周辺の地図情報から自車両走行中の道路の車線幅Wm及び車線数の情報を取得し、その車線幅Wmの情報を白線誤認識検出手段33に出力し、車線数の情報を自車走行車線推定手段42する。
【0065】
高精度自車位置推定手段41では、慣性センサ13から入力した自車両の旋回方向の角速度を時間積分して自車両の旋回角度を推定する。また、高精度自車位置推定手段41では、各車輪の車輪速センサ14から入力した車輪速から自車両の車体速を算出し、その車体速を時間積分して自車両の移動距離を算出する。そして、高精度自車位置推定手段41では、その自車両の旋回角度と移動距離に基づいて自車両の相対的な位置を推定する。さらに、高精度自車位置推定手段41では、その自車両の相対的な位置とGPS受信機10からの絶対的な位置を用いてハイブリッド航法による位置を推定する。さらに、高精度自車位置推定手段41では、地図データベース21から現在位置周辺のマップマッチング用地図情報を取得し、ハイブリッド航法による推定位置とマップマッチング用地図情報を用いてマップマッチングを行い、自車両の現在位置を推定する。この推定される自車位置は、高精度(例えば、1m程度)であり、走行路に複数の車線が存在する場合には自車両が走行している車線位置を判別できる程度の精度を有する。なお、上記の高精度な自車位置の推定方法は一例であり、他の方法でもよい。また、自車両が高性能なナビゲーション装置を搭載している場合にはナビゲーション装置が高精度自車位置推定手段41として機能する。
【0066】
自車走行車線推定手段42では、走路情報出力手段40から入力した自車両の走行路における車線数と高精度自車位置推定手段41から入力した高精度な自車両の現在位置に基づいて、自車両が走行している車線の位置を判別する。例えば、1車線の場合には判別無し、2車線の場合には右側車線か左側車線か、3車線の場合には右端車線か左端車線か中央車線か、4車線の場合には右端車線か左端車線かそれ以外の車線かを判別する。そして、自車走行車線推定手段42では、その判別した車線位置を制御目標修正手段43に出力する。
【0067】
制御目標修正手段43では、白線誤認識検出手段33で誤認識と判定した場合、自車走行車線推定手段42から入力した自車両が走行中の車線の位置が左端の車線か右端の車線かあるいはそれ以外の車線かを判定する。左端の車線と判定した場合(自車両の左側に白線に似た特徴を持つものが存在する可能性が高い場合)、白線認識手段31で認識した左右一対の白線のうち左側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が左側に寄っていると判断できるので、制御目標修正手段43では、白線認識手段31で認識した右側の白線を基準にし、その右白線からWm/2分左側の位置を目標横位置として設定する。右端の車線と判定した場合(自車両の右側に白線に似た特徴を持つものが存在する可能性が高い場合)、白線認識手段31で認識した左右一対の白線のうち右側の白線を誤認識しており、それに応じて白線認識手段31で認識した車線中央が右側に寄っていると判断できるので、制御目標修正手段43では、白線認識手段31で認識した左側の白線を基準にし、その左白線からWm/2分右側の位置を目標横位置として設定する。それ以外の車線と判定した場合、誤認識した側を判別できないので、制御目標修正手段43では、目標横位置を修正しない。そして、制御目標修正手段43では、設定した目標横位置を制御目標として車両制御手段35に出力する。
【0068】
図5を参照し、図6のフローチャートに沿って、車線維持制御装置3の動作について説明する。図6は、第3の実施の形態に係る車線維持制御装置における処理の流れを示すフローチャートである。車線維持制御装置3では、以下に説明する動作を一定時間毎に繰り返し行う。
【0069】
GPS受信機10では、受信可能なGPS信号を受信し、受信できたGPS信号を用いて現在位置を算出し、その現在位置情報を走路情報出力手段40及び高精度自車位置推定手段41に出力している。また、前方カメラ11では、自車両前方を撮像し、その画像情報を白線認識手段31に出力している。また、慣性センサ13では、自車両の旋回方向の角速度を検出し、その角速度を高精度自車位置推定手段41に出力している。また、各車輪の車輪速センサ14では、車輪速を検出し、その車輪速を高精度自車位置推定手段41に出力している。
【0070】
白線認識手段31では、前方カメラ11の画像から左右一対の白線(車線)を認識し、車線幅Wsや目標横位置等を算出する(S30)。また、走路情報出力手段40では、GPS受信機10による現在位置に基づいて地図データベース21から現在位置周辺の地図情報を取得し、その地図情報から車線幅Wmを取得する(S31)。そして、白線誤認識検出手段33では、車線幅Wsから車線幅Wmを減算し、その減算値の絶対値が閾値αより大きいか否かを判定する(S32)。S32にて減算値の絶対値が閾値α以下と判定した場合、白線認識手段31で算出した目標横位置を制御目標とする。
【0071】
S32にて減算値の絶対値が閾値αより大きいと判定した場合、高精度自車位置推定手段41では、慣性センサ13による自車両の旋回方向の角速度と各車輪の車輪速センサ14による車輪速に基づいて自車両の相対的な位置を推定する。そして、高精度自車位置推定手段41では、その自車両の相対的な位置とGPS受信機10による絶対的な現在位置及び地図データベース21から取得したマップマッチング用の地図情報を用いて、高精度な自車両の現在位置を推定する(S33)。また、走路情報出力手段40では、現在位置周辺の地図情報から車線数を取得する(S34)。そして、自車走行車線推定手段42では、高精度な自車両の現在位置と自車両の走行路における車線数に基づいて、自車両の走行車線を推定する(S35)。
【0072】
そして、制御目標修正手段43では、自車両の走行車線の位置が最も左側の車線の場合には左白線を誤認識と判定し、正しい認識の右白線を基準にしてWm/2分左側の位置を目標横位置に設定し、自車両の走行車線の位置が最も右側の車線の場合には右白線を誤認識と判定し、正しい認識の左白線を基準にしてWm/2分右側の位置を目標横位置に設定し、それ以外の場合には目標横位置を修正しない(S36)。
【0073】
そして、車両制御手段35では、設定されている目標横位置が零になるような目標操舵制御量を算出し、その目標操舵制御量を電動パワーステアリング装置に出力する(S37)。電動パワーステアリング装置では、その目標操舵制御量に応じた操舵トルクを操舵機構に作用させる。その結果、自車両は、車線中央付近を走行し、車線内を維持する。
【0074】
この車線維持制御装置3によれば、第1の実施の形態に係る車線維持制御装置1と同様に、画像認識の車線幅と地図情報の車線幅とを比較することにより画像による車線認識が誤認識か否かを高精度に判定できる。さらに、車線維持制御装置3によれば、高精度な自車位置と車線数から推定した自車両の走行車線を利用することにより、誤認識している側の白線を高精度に判別できるとともに目標横位置を高精度に修正することができる。
【0075】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【0076】
例えば、本実施の形態では車線維持制御装置に適用したが、車線の情報を用いる他の装置(車線逸脱警報装置等)に適用してもよいし、あるいは、車線認識のみを行う車線認識装置に適用してもよい。車線逸脱警報装置の場合、目標横位置を修正するのではなく、誤認識した側の白線の位置を修正する。
【0077】
また、本実施の形態では車線として左右一対の白線を認識する構成としたが、白線以外にも道路面に描かれる黄線などの他の色の区画線を認識するようにしてもよい。
【0078】
また、本実施の形態では車線をカメラの画像を用いて認識する構成としたが、レーザレーダ等の他の手段を用いて車線を認識する構成としてもよい。また、本実施の形態では先行車両や後続車両をカメラの画像を用いて認識する構成としたが、レーザレーダ等の他の手段を用いて先行車両等を認識する構成としてもよい。
【0079】
また、本実施の形態では車線幅を用いて誤認識か否かを判定する構成としたが、他の車線の構造情報(例えば、曲率、カーブ半径)を用いて誤認識か否かを判定してもよい。
【0080】
また、第1及び第2の実施の形態では先行車両や後続車両が信頼できるか否かを判定するために車両までの相対距離を用いて判定したが、他の情報を用いて判定してもよい。例えば、車両の横方向へのふらつき度合いを検出し、ふらつき度合いを用いて判定する。
【0081】
また、第3の実施の形態では自車両の高精度な位置情報と走行路の車線数に基づいて自車両走行中の車線の位置を推定する構成としたが、他の方法で自車両走行中の車線の位置を取得してよい。
【符号の説明】
【0082】
1,2,3…車線維持制御装置、10…GPS受信機、11…前方カメラ、12…後方カメラ、13…慣性センサ、14…車輪速センサ、20,21…地図データベース、30,40…走路情報出力手段、31,36…白線認識手段、32,37…車両認識手段、33,38…白線誤認識検出手段、34,39,43…制御目標修正手段、35…車両制御手段、41…高精度自車位置推定手段、42…自車走行車線推定手段。

【特許請求の範囲】
【請求項1】
道路上の車線を認識する車線認識装置であって、
自車両が走行中の車線を認識し、車線の情報を取得する車線認識手段と、
自車両が走行中の車線の構造情報を取得する構造情報取得手段と、
前記車線認識手段で認識した車線の情報と前記構造情報取得手段で取得した車線の構造情報とを比較し、前記車線認識手段による認識が誤認識か否かを判定する判定手段と、
を備えることを特徴とする車線認識装置。
【請求項2】
自車両に対する先行車両又は/及び後続車両を認識し、先行車両又は/及び後続車両の自車両に対する横位置を取得する他車両認識手段と、
前記判定手段で前記車線認識手段による認識が誤認識と判定した場合、前記他車両認識手段で認識した先行車両又は/及び後続車両の横位置に基づいて車線の右側の区画線と左側の区画線のうちのいずれの側の区画線を誤認識したかを判別し、該判別結果に応じて前記車線認識手段で認識した車線の情報を修正する修正手段と、
を備えることを特徴とする請求項1に記載の車線認識装置。
【請求項3】
自車両が走行している車線の位置を取得する車線位置取得手段と、
前記判定手段で前記車線認識手段による認識が誤認識と判定した場合、前記車線位置取得手段で取得した車線の位置が最も左側の車線のときには車線の左側の区画線を誤認識したと判別し、前記車線位置取得手段で取得した車線の位置が最も右側の車線のときには車線の右側の区画線を誤認識したと判別し、該判別結果に応じて前記車線認識手段で認識した車線の情報を修正する修正手段と、
を備えることを特徴とする請求項1に記載の車線認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−97714(P2013−97714A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−242274(P2011−242274)
【出願日】平成23年11月4日(2011.11.4)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】