路面標示認識システム
【課題】 路面標示の一部のみを検出することによって路面標示の認識を行うことにより、処理負荷の軽減を可能とした路面標示認識システムを提供する。
【解決手段】 車両2が走行する路面上に形成された「最高速度」の路面標示を検出する際において、先ず路面標示の境界線を抽出した後に後方カメラ3で撮像した画像中に「0」の形状を有する標示部分が存在するか否かを判定し(S24)、「0」の形状を有する標示部分が存在すると判定された場合(S25:YES)には、「最高速度」の路面標示が路面上に形成されていることを認識する(S26)ように構成する。
【解決手段】 車両2が走行する路面上に形成された「最高速度」の路面標示を検出する際において、先ず路面標示の境界線を抽出した後に後方カメラ3で撮像した画像中に「0」の形状を有する標示部分が存在するか否かを判定し(S24)、「0」の形状を有する標示部分が存在すると判定された場合(S25:YES)には、「最高速度」の路面標示が路面上に形成されていることを認識する(S26)ように構成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段により撮像した画像に基づいて路面上に形成されている路面標示の認識を行う路面標示認識システムに関し、特に、路面標示の一部のみを検出することによって路面標示の認識を行うことにより、処理負荷の軽減を可能とした路面標示認識システムに関するものである。
【背景技術】
【0002】
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2005−128790号公報には、自車両が走行する道路上に形成された最高速度の道路標識及び路面標示を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて車両の速度を最高速度内の速度とするように車両の速度制御を行う速度制御装置について記載されている。
【特許文献1】特開2005−128790号公報(第5頁〜第8頁、図3〜図4)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前記した特許文献1に記載された速度制御装置では、制御対象となる最高速度の道路標識及び路面標示を撮像した画像を読み込み、テンプレートデータとマッチングする画像が存在するか否かに基づいて最高速度の道路標識及び路面標示が存在することを認識していたが、上記方法では道路標識及び路面標示を構成する最高速度を示す数字(例えば、「20」、「40」、「60」)の全体を検出する必要があった。ここで、カメラによって撮像した画像から最高速度を示す数字の全体を検出することは、装置の処理負荷が大きくなり、画像処理用の制御部を別途必要とすることとなっていた。それによって、装置全体が高価なシステムとなり、このようなカメラを用いた車両の制御装置の普及を妨げる結果となっていた。
【0004】
ここで、特に最高速度の道路標識及び路面標示は具体的な速度の値を示す数字のみを表示するのが一般であり、更に最高速度は10km/h単位で設定されているのが一般である。その結果、一の位の数字は速度種類に関わらず常に「0」の数字で共通となっていた。従って、最高速度を示す路面標示を検出する際には、共通する数字である「0」のみを検出すれば、少なくとも最高速度を示す路面標示であることを認識することが可能となっている。
【0005】
本発明は前記従来における問題点を解消するためになされたものであり、最高速度の数字を示す速度路面標示の一部のみの検出に基づいて、最高速度の数字を示す速度路面標示を認識することが可能となり、装置の処理負荷を軽減し、安価なシステムにより構成を可能とした路面標示認識システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するため本願の請求項1に路面標示認識システムは、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出する速度標示検出手段と、前記速度標示検出手段の検出結果に基づいて前記速度路面標示が路面上に形成されていることを認識する速度標示認識手段と、を有することを特徴とする。
尚、ここで「速度路面標示」とは、道路交通に対し、車両により走行する際の最高速度についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいう。
【0007】
また、請求項2に係る路面標示認識システムは、請求項1に記載の路面標示認識システムにおいて、前記速度路面標示は、異なる最高速度を示す速度路面標示において共通して用いられる共通数字を有し、前記速度標示検出手段は、前記速度路面標示を構成する数字の内、前記共通数字を示す部分を検出することを特徴とする。
【0008】
また、請求項3に係る路面標示認識システムは、請求項1又は請求項2に記載の路面標示認識システムにおいて、車両の現在地を検出する現在地検出手段と、路面に形成された速度路面標示の位置情報を記憶した標示情報記憶手段と、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に速度路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、前記速度標示検出手段は、前記路面標示存在判定手段によって速度路面標示が存在すると判定された場合に速度路面標示の検出を行うことを特徴とする。
【発明の効果】
【0009】
前記構成を有する請求項1の路面標示認識システムでは、撮像した画像に基づいて車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出し、その検出結果に基づいて速度路面標示が路面上に形成されていることを認識するので、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0010】
また、請求項2の路面標示認識システムでは、速度路面標示を構成する数字の内、異なる最高速度で共通して使用される共通数字を示す部分を検出することにより、速度路面標示が路面上に形成されていることを認識するので、異なる種類であっても共通の形状部分が存在する特定の路面標示に関して、路面標示を構成する全体の形状を検出することなく路面標示を認識することが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0011】
更に、請求項3の路面標示認識システムでは、車両の現在地から所定範囲内に速度路面標示が存在する場合に速度路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【発明を実施するための最良の形態】
【0012】
以下、本発明に係る路面標示認識システムを用いた運転支援装置について具体化した第1及び第2実施形態に基づき図面を参照しつつ詳細に説明する。
【0013】
(第1実施形態)
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
【0014】
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
【0015】
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ7と、経路案内に関する音声ガイダンスを出力するスピーカ8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置13とから構成されている。
ナビゲーションECU(速度標示検出手段、速度標示認識手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの距離を検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
【0016】
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ11、アクセルアクチュエータ12が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11及びアクセルアクチュエータ12に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
【0017】
次に、第1実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は第1実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【0018】
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
【0019】
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
【0020】
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0021】
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【0022】
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
【0023】
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部10の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
【0024】
また、地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置4では路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
【0025】
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との距離を算出し、運転補助を行う後述の運転支援処理プログラム(図10、図11参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
【0026】
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
【0027】
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示の検出及び認識を行う。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。ここで、特に第1実施形態に係るナビゲーション装置4では、ロケーション部52は特に最高速度を示す路面標示(例えば、「60」や「40」)を検出する際に関して、各速度を表示するのに共通する共通数字である一の位の数字「0」のみを検出することにより、最高速度を示す路面標示が形成されていることを認識可能となっている。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
【0028】
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置13等の各周辺装置が電気的に接続されている。
【0029】
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。尚、液晶ディスプレイ7の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
【0030】
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ8より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置4では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
【0031】
そして、通信装置13は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装置13としては、LAN、WAN、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通信を可能とするネットワーク機器であっても良い。更に、通信装置13は前記情報センタからの情報の他に、ニュース、天気予報等の情報から成るFM多重情報を、FM放送局を介してFM多重放送として受信するFM受信機を備える。尚、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。また、第1実施形態に係るナビゲーション装置4は通信装置13を介して情報センタに接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
【0032】
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は第1実施形態に係る路面標示DB42の記憶領域を示した図である。
【0033】
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの距離とから構成されている。例えば、図3では座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)には「矢印」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)には「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x4,y4)には「横断歩道」の路面標示が形成されており、且つその路面標示には89m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。
【0034】
ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての距離を間接的に算出し、その距離が所定距離となった場合に車両2の駆動制御や走行の案内を行う。
【0035】
また、車両2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
【0036】
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
【0037】
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0038】
次に、図4乃至図6を用いて車両2の後方カメラ3によって特に最高速度を示す路面標示を検出する際の検出方法について具体例をあげて説明する。図4の(A)は「最高速度20km/h」の路面標示60を示した模式図、(B)は「最高速度60km/h」の路面標示60を示した模式図、図5は「最高速度」の路面標示60を撮像する車両2を示した側面図、図6は図5の状態における車両2の後方カメラ3によって撮像された撮像画像66を示した模式図である。
【0039】
路面上に形成される路面標示の内、特に最高速度を示す路面標示60は図4(A)及び(B)に示すように2桁の数字の組合せによって構成されており、例えば図4(A)では「2」の数字61と「0」の数字62を組合せることによって最高速度が20km/hであることを示す「20」の数字を構成する。また、図4(B)では「6」の数字63と「0」の数字62を組合せることによって最高速度が60km/hであることを示す「60」の数字を構成する。ここで、最高速度を示す路面標示は基本的に10km/h単位に設定されており、一の位の数字は「0」となって共通する。従って、最高速度を示す路面標示を検出する際には、共通する数字である「0」のみを検出すれば、少なくとも最高速度を示す路面標示であることを認識することが可能となる。
【0040】
例えば、図5に示すように車両2が走行する路面65に形成された最高速度20km/hを示す路面標示60を撮像した場合には、図6に示すように路面標示60が略中央に配置された撮像画像66を得る。そして、後述する所定の画像処理を施すことによって撮像画像中の路面標示60と路面65との境界線67を検出し、その境界線67が「0」の形状と一致するか否かを判定することにより、最高速度を示す路面標示であるか否かの認識が可能となる。尚、路面標示を検出する際の具体的な処理内容に関しては、後にフローチャートを用いて説明する。
【0041】
続いて、図5乃至図9を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面65に形成された路面標示の内、特に制御対象物としてコーナ開始点のノード69が対応付けられた「最高速度」の路面標示60を撮像した場合を示すこととする。図7は路面標示60を撮像する車両2を示した側面図である。
【0042】
後方カメラ3は、図7に示すように車両2の後バンパー70付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された図6に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
【0043】
ここで、路面標示には車両2との距離を計測する為の測定開始点が予め複数箇所に定義されており、車両2から最も進行方向側にある測定開始点までの距離を車両2から路面標示までの距離として扱う。例えば、図8(A)は「最高速度(20km/h)」の路面標示60の測定開始点60A〜60Bを示した模式図、図8(B)は「横断歩道有り」の路面標示71の測定開始点71A〜71Dを示した模式図である。
図8(A)及び図8(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU6は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
【0044】
また、図6に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両2と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図8(A)に示す「最高速度(20km/h)」の路面標示60では測定開始点60Aとの距離が算出される。但し、測定開始点60Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、先ず測定開始点60Bまでの距離を算出し、その後に測定開始点60Aと測定開始点60Bとの距離を用いることによって測定開始点60Aとの距離が間接的に算出される。
【0045】
また、図8(B)に示す「横断歩道有り」の路面標示71では測定開始点71Aとの距離が算出される。但し、測定開始点71Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、測定開始点71Bを用いることによって測定開始点71Aとの距離が間接的に算出される。更に、測定開始点71Bについても特定できなかった場合には測定開始点71Cが用いられ、測定開始点71Cについても特定できなかった場合には測定開始点71Dが用いられる。
【0046】
一方、前記した方法によって車両2と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの距離を算出することが可能である。図9は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの距離の算出方法について示した模式図である。
【0047】
図9では、「最高速度(20km/h)」の路面標示60を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示60には制御対象物として前方の距離D2にあるコーナ開始点のノード69が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示60検出時点での車両2から制御対象物までの距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの距離(D2−D1−S)を算出することが可能となる。また、算出されたコーナ開始点のノード69までの距離(D2−D1−S)に基づいてブレーキアクチュエータ11及びアクセルアクチュエータ12を制御することにより、コーナのRに従った最適な速度でコーナに進入されるようにブレーキ圧及びエンジンに吸入する空気量を調整することが可能となる。
以上のように、直接制御対象物を認識することなく、後方カメラ3によって検出された路面標示から前方にある制御対象物までの距離を間接的に算出することにより、より早い段階で正確な制御対象物までの距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
【0048】
続いて、前記構成を有する第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図10に基づき説明する。図10は第1実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、以下に図10及び図11にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
【0049】
運転支援処理では、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第1実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
【0050】
次に、S2では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、後述の路面標示の画像認識処理を行う(図11参照)。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS2が路面標示存在判定手段の処理に相当する。
【0051】
そして、S4では後述するS3の路面標示の画像認識処理において路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S4:YES)、即ち、後方カメラ3で撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S5へと移行する。一方、路面標示が認識されなかったと判定された場合(S4:NO)、即ち、後方カメラ3で撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
【0052】
S5では前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図6参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。
【0053】
その後、S6では前記S5で算出された車両2と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの距離D2(D2の値は予め路面標示DB42に記憶される。図3参照)から、車両2から検出された路面標示に関連付けられた制御対象物までの距離(D2−D1)を算出する(図9参照)。
【0054】
更に、S7ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両2の走行距離Sを算出し、前記S6で算出された車両2と制御対象物までの距離(D2−D1)から走行中の車両2から制御対象物までの残距離(D2−D1−S)を算出する(図9参照)。
【0055】
また、S8では前記S7で算出された制御対象物までの残距離(D2−D1−S)に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
【0056】
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S8:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S9)。ここで、第1実施形態に係る運転支援装置1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0057】
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
【0058】
そして、S10で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S10:YES)には、S11で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。尚、具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
【0059】
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S8:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S10:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0060】
続いて、S12では、前記S7で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S12:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S12:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0061】
次に、前記S3の路面標示の画像認識処理プログラムについて図11に基づき説明する。図11は第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する路面標示の画像認識処理プログラムのフローチャートである。ここで、路面標示の画像認識処理は、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する処理である。
【0062】
路面標示の画像認識処理では、先ずS21において、ナビゲーションECU6は画像入力処理を行う。画像入力処理ではNTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。
【0063】
次に、S22ではナビゲーションECU6は前記S21で入力された画像から路面標示を検出し易くする為に、複数の画像処理を施す。具体的には、先ず路面標示が一般に白線又は黄線であることを用いて、入力した画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理を行い、更に歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行う。
【0064】
その後、S23ではナビゲーションECU6は路面標示と他の路面との境界を特定する境界線を検出するエッジ検出処理を行う。具体的には後方カメラ3で撮像した画像中の濃度階調の変化に基づいて境界線を検出する。
【0065】
続いて、S24では前記S23で検出された境界線に基づいて、入力された画像中に最高速度を示す路面標示において共通する数字である「0」の形状を有している標示部分が存在するか否かを検出する検出処理を行う。尚、上記S21〜S24が速度標示検出手段の処理に相当する。
【0066】
そして、S25では前記S24の検出の結果、「0」の形状を有する標示部分が入力された画像中に存在するか否かを判定し、存在すると判定された場合(S25:YES)には、入力された画像中に「最高速度」の路面標示が存在すると判定(認識)され(S26)、その判定結果を内部関数として出力する(S27)。その後、「最高速度」の路面標示が認識されたことに基づいて、認識された路面標示に関連付けられた制御対象物に対する走行の案内及び車両の制御処理を行う(S5〜S12)。尚、S25〜S26が速度標示認識手段の処理に相当する。
【0067】
一方、「0」の形状を有する標示部分が入力された画像中に存在しないと判定された場合(S25:NO)には、更に、入力された画像中に「最高速度」の路面標示以外の路面標示が存在するか否かを境界線及び境界線から特定された測定開始点の配置に基づいて判定し(S28)、その判定結果を内部関数として出力する(S27)。その後、「最高速度」の路面標示以外の路面標示が認識された場合には、認識された路面標示に関連付けられた制御対象物に対する走行の案内及び車両の制御処理を行う(S5〜S12)。
【0068】
以上詳細に説明した通り、第1実施形態に係る運転支援装置1では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S5〜S7)、制御対象物までの距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。
また、特に車両2が走行する路面上に形成された「最高速度」の路面標示を検出する際においては、先ず路面標示の境界線を抽出し、後方カメラ3で撮像した画像中に「0」の形状を有する標示部分が存在するか否かを判定し(S24)、「0」の形状を有する標示部分が存在すると判定された場合(S25:YES)には、「最高速度」の路面標示が路面上に形成されていることを認識する(S26)ので、異なる種類であっても共通の形状部分が存在する特定の路面標示に関して、路面標示を構成する全体の形状を検出することなく路面標示を認識することが可能となる。従って、処理負荷の軽減が可能となり、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両2から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ3によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置4の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0069】
(第2実施形態)
次に、第2実施形態に係る運転支援装置100について図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
【0070】
この第2実施形態に係る運転支援装置100の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第2実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
【0071】
先ず、第2実施形態に係る運転支援装置100の概略構成について図12を用いて説明する。図12は第2実施形態に係る運転支援装置100の概略構成図である。
図12に示すように、第2実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
【0072】
前方カメラ101は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の前方に設置された信号機、道路標識、路面標示等を撮像する。
【0073】
尚、前方カメラ101以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した第1実施形態に係る運転支援装置1と同様であり、その説明は省略する。
【0074】
そして、第2実施形態に係る運転支援装置100では前方カメラ101で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
【0075】
例えば、前方カメラ101によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0076】
また、前方カメラ101によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0077】
また、前方カメラ101によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0078】
以上詳細に説明した通り、第2実施形態に係る運転支援装置100では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S5〜S7)、制御対象物までの距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0079】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
【図面の簡単な説明】
【0080】
【図1】第1実施形態に係る運転支援装置の概略構成図である。
【図2】第1実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図3】第1実施形態に係る路面標示DBの記憶領域を示した図である。
【図4】図4の(A)は「最高速度20km/h」の路面標示60を示した模式図、(B)は「最高速度60km/h」の路面標示60を示した模式図、図5は「最高速度」の路面標示60を撮像する車両2を示した側面図である。
【図5】路面標示を撮像する車両を示した上面図である。
【図6】図4及び図5の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。
【図7】路面標示を撮像する車両を示した側面図である。
【図8】(A)は「最高速度(20km/h)」の路面標示の測定開始点を示した模式図、(B)は「横断歩道有り」の路面標示の測定開始点を示した模式図である。
【図9】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの距離の算出方法について示した模式図である。
【図10】第1実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。
【図11】第1実施形態に係る運転支援装置における路面標示の画像認識処理プログラムのフローチャートである。
【図12】第2実施形態に係る運転支援装置の概略構成図である。
【符号の説明】
【0081】
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB
【技術分野】
【0001】
本発明は、撮像手段により撮像した画像に基づいて路面上に形成されている路面標示の認識を行う路面標示認識システムに関し、特に、路面標示の一部のみを検出することによって路面標示の認識を行うことにより、処理負荷の軽減を可能とした路面標示認識システムに関するものである。
【背景技術】
【0002】
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2005−128790号公報には、自車両が走行する道路上に形成された最高速度の道路標識及び路面標示を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて車両の速度を最高速度内の速度とするように車両の速度制御を行う速度制御装置について記載されている。
【特許文献1】特開2005−128790号公報(第5頁〜第8頁、図3〜図4)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前記した特許文献1に記載された速度制御装置では、制御対象となる最高速度の道路標識及び路面標示を撮像した画像を読み込み、テンプレートデータとマッチングする画像が存在するか否かに基づいて最高速度の道路標識及び路面標示が存在することを認識していたが、上記方法では道路標識及び路面標示を構成する最高速度を示す数字(例えば、「20」、「40」、「60」)の全体を検出する必要があった。ここで、カメラによって撮像した画像から最高速度を示す数字の全体を検出することは、装置の処理負荷が大きくなり、画像処理用の制御部を別途必要とすることとなっていた。それによって、装置全体が高価なシステムとなり、このようなカメラを用いた車両の制御装置の普及を妨げる結果となっていた。
【0004】
ここで、特に最高速度の道路標識及び路面標示は具体的な速度の値を示す数字のみを表示するのが一般であり、更に最高速度は10km/h単位で設定されているのが一般である。その結果、一の位の数字は速度種類に関わらず常に「0」の数字で共通となっていた。従って、最高速度を示す路面標示を検出する際には、共通する数字である「0」のみを検出すれば、少なくとも最高速度を示す路面標示であることを認識することが可能となっている。
【0005】
本発明は前記従来における問題点を解消するためになされたものであり、最高速度の数字を示す速度路面標示の一部のみの検出に基づいて、最高速度の数字を示す速度路面標示を認識することが可能となり、装置の処理負荷を軽減し、安価なシステムにより構成を可能とした路面標示認識システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するため本願の請求項1に路面標示認識システムは、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出する速度標示検出手段と、前記速度標示検出手段の検出結果に基づいて前記速度路面標示が路面上に形成されていることを認識する速度標示認識手段と、を有することを特徴とする。
尚、ここで「速度路面標示」とは、道路交通に対し、車両により走行する際の最高速度についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいう。
【0007】
また、請求項2に係る路面標示認識システムは、請求項1に記載の路面標示認識システムにおいて、前記速度路面標示は、異なる最高速度を示す速度路面標示において共通して用いられる共通数字を有し、前記速度標示検出手段は、前記速度路面標示を構成する数字の内、前記共通数字を示す部分を検出することを特徴とする。
【0008】
また、請求項3に係る路面標示認識システムは、請求項1又は請求項2に記載の路面標示認識システムにおいて、車両の現在地を検出する現在地検出手段と、路面に形成された速度路面標示の位置情報を記憶した標示情報記憶手段と、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に速度路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、前記速度標示検出手段は、前記路面標示存在判定手段によって速度路面標示が存在すると判定された場合に速度路面標示の検出を行うことを特徴とする。
【発明の効果】
【0009】
前記構成を有する請求項1の路面標示認識システムでは、撮像した画像に基づいて車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出し、その検出結果に基づいて速度路面標示が路面上に形成されていることを認識するので、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0010】
また、請求項2の路面標示認識システムでは、速度路面標示を構成する数字の内、異なる最高速度で共通して使用される共通数字を示す部分を検出することにより、速度路面標示が路面上に形成されていることを認識するので、異なる種類であっても共通の形状部分が存在する特定の路面標示に関して、路面標示を構成する全体の形状を検出することなく路面標示を認識することが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0011】
更に、請求項3の路面標示認識システムでは、車両の現在地から所定範囲内に速度路面標示が存在する場合に速度路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【発明を実施するための最良の形態】
【0012】
以下、本発明に係る路面標示認識システムを用いた運転支援装置について具体化した第1及び第2実施形態に基づき図面を参照しつつ詳細に説明する。
【0013】
(第1実施形態)
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
【0014】
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
【0015】
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ7と、経路案内に関する音声ガイダンスを出力するスピーカ8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置13とから構成されている。
ナビゲーションECU(速度標示検出手段、速度標示認識手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの距離を検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
【0016】
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ11、アクセルアクチュエータ12が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11及びアクセルアクチュエータ12に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
【0017】
次に、第1実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は第1実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【0018】
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
【0019】
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
【0020】
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0021】
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【0022】
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
【0023】
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部10の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
【0024】
また、地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置4では路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
【0025】
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との距離を算出し、運転補助を行う後述の運転支援処理プログラム(図10、図11参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
【0026】
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
【0027】
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示の検出及び認識を行う。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。ここで、特に第1実施形態に係るナビゲーション装置4では、ロケーション部52は特に最高速度を示す路面標示(例えば、「60」や「40」)を検出する際に関して、各速度を表示するのに共通する共通数字である一の位の数字「0」のみを検出することにより、最高速度を示す路面標示が形成されていることを認識可能となっている。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
【0028】
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置13等の各周辺装置が電気的に接続されている。
【0029】
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。尚、液晶ディスプレイ7の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
【0030】
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ8より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置4では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
【0031】
そして、通信装置13は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装置13としては、LAN、WAN、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通信を可能とするネットワーク機器であっても良い。更に、通信装置13は前記情報センタからの情報の他に、ニュース、天気予報等の情報から成るFM多重情報を、FM放送局を介してFM多重放送として受信するFM受信機を備える。尚、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。また、第1実施形態に係るナビゲーション装置4は通信装置13を介して情報センタに接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
【0032】
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は第1実施形態に係る路面標示DB42の記憶領域を示した図である。
【0033】
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの距離とから構成されている。例えば、図3では座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)には「矢印」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)には「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x4,y4)には「横断歩道」の路面標示が形成されており、且つその路面標示には89m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。
【0034】
ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての距離を間接的に算出し、その距離が所定距離となった場合に車両2の駆動制御や走行の案内を行う。
【0035】
また、車両2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
【0036】
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
【0037】
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0038】
次に、図4乃至図6を用いて車両2の後方カメラ3によって特に最高速度を示す路面標示を検出する際の検出方法について具体例をあげて説明する。図4の(A)は「最高速度20km/h」の路面標示60を示した模式図、(B)は「最高速度60km/h」の路面標示60を示した模式図、図5は「最高速度」の路面標示60を撮像する車両2を示した側面図、図6は図5の状態における車両2の後方カメラ3によって撮像された撮像画像66を示した模式図である。
【0039】
路面上に形成される路面標示の内、特に最高速度を示す路面標示60は図4(A)及び(B)に示すように2桁の数字の組合せによって構成されており、例えば図4(A)では「2」の数字61と「0」の数字62を組合せることによって最高速度が20km/hであることを示す「20」の数字を構成する。また、図4(B)では「6」の数字63と「0」の数字62を組合せることによって最高速度が60km/hであることを示す「60」の数字を構成する。ここで、最高速度を示す路面標示は基本的に10km/h単位に設定されており、一の位の数字は「0」となって共通する。従って、最高速度を示す路面標示を検出する際には、共通する数字である「0」のみを検出すれば、少なくとも最高速度を示す路面標示であることを認識することが可能となる。
【0040】
例えば、図5に示すように車両2が走行する路面65に形成された最高速度20km/hを示す路面標示60を撮像した場合には、図6に示すように路面標示60が略中央に配置された撮像画像66を得る。そして、後述する所定の画像処理を施すことによって撮像画像中の路面標示60と路面65との境界線67を検出し、その境界線67が「0」の形状と一致するか否かを判定することにより、最高速度を示す路面標示であるか否かの認識が可能となる。尚、路面標示を検出する際の具体的な処理内容に関しては、後にフローチャートを用いて説明する。
【0041】
続いて、図5乃至図9を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面65に形成された路面標示の内、特に制御対象物としてコーナ開始点のノード69が対応付けられた「最高速度」の路面標示60を撮像した場合を示すこととする。図7は路面標示60を撮像する車両2を示した側面図である。
【0042】
後方カメラ3は、図7に示すように車両2の後バンパー70付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された図6に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
【0043】
ここで、路面標示には車両2との距離を計測する為の測定開始点が予め複数箇所に定義されており、車両2から最も進行方向側にある測定開始点までの距離を車両2から路面標示までの距離として扱う。例えば、図8(A)は「最高速度(20km/h)」の路面標示60の測定開始点60A〜60Bを示した模式図、図8(B)は「横断歩道有り」の路面標示71の測定開始点71A〜71Dを示した模式図である。
図8(A)及び図8(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU6は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
【0044】
また、図6に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両2と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図8(A)に示す「最高速度(20km/h)」の路面標示60では測定開始点60Aとの距離が算出される。但し、測定開始点60Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、先ず測定開始点60Bまでの距離を算出し、その後に測定開始点60Aと測定開始点60Bとの距離を用いることによって測定開始点60Aとの距離が間接的に算出される。
【0045】
また、図8(B)に示す「横断歩道有り」の路面標示71では測定開始点71Aとの距離が算出される。但し、測定開始点71Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、測定開始点71Bを用いることによって測定開始点71Aとの距離が間接的に算出される。更に、測定開始点71Bについても特定できなかった場合には測定開始点71Cが用いられ、測定開始点71Cについても特定できなかった場合には測定開始点71Dが用いられる。
【0046】
一方、前記した方法によって車両2と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの距離を算出することが可能である。図9は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの距離の算出方法について示した模式図である。
【0047】
図9では、「最高速度(20km/h)」の路面標示60を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示60には制御対象物として前方の距離D2にあるコーナ開始点のノード69が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示60検出時点での車両2から制御対象物までの距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの距離(D2−D1−S)を算出することが可能となる。また、算出されたコーナ開始点のノード69までの距離(D2−D1−S)に基づいてブレーキアクチュエータ11及びアクセルアクチュエータ12を制御することにより、コーナのRに従った最適な速度でコーナに進入されるようにブレーキ圧及びエンジンに吸入する空気量を調整することが可能となる。
以上のように、直接制御対象物を認識することなく、後方カメラ3によって検出された路面標示から前方にある制御対象物までの距離を間接的に算出することにより、より早い段階で正確な制御対象物までの距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
【0048】
続いて、前記構成を有する第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図10に基づき説明する。図10は第1実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、以下に図10及び図11にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
【0049】
運転支援処理では、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第1実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
【0050】
次に、S2では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、後述の路面標示の画像認識処理を行う(図11参照)。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS2が路面標示存在判定手段の処理に相当する。
【0051】
そして、S4では後述するS3の路面標示の画像認識処理において路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S4:YES)、即ち、後方カメラ3で撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S5へと移行する。一方、路面標示が認識されなかったと判定された場合(S4:NO)、即ち、後方カメラ3で撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
【0052】
S5では前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図6参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。
【0053】
その後、S6では前記S5で算出された車両2と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの距離D2(D2の値は予め路面標示DB42に記憶される。図3参照)から、車両2から検出された路面標示に関連付けられた制御対象物までの距離(D2−D1)を算出する(図9参照)。
【0054】
更に、S7ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両2の走行距離Sを算出し、前記S6で算出された車両2と制御対象物までの距離(D2−D1)から走行中の車両2から制御対象物までの残距離(D2−D1−S)を算出する(図9参照)。
【0055】
また、S8では前記S7で算出された制御対象物までの残距離(D2−D1−S)に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
【0056】
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S8:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S9)。ここで、第1実施形態に係る運転支援装置1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0057】
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
【0058】
そして、S10で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S10:YES)には、S11で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。尚、具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
【0059】
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S8:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S10:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0060】
続いて、S12では、前記S7で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S12:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S12:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0061】
次に、前記S3の路面標示の画像認識処理プログラムについて図11に基づき説明する。図11は第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する路面標示の画像認識処理プログラムのフローチャートである。ここで、路面標示の画像認識処理は、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する処理である。
【0062】
路面標示の画像認識処理では、先ずS21において、ナビゲーションECU6は画像入力処理を行う。画像入力処理ではNTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。
【0063】
次に、S22ではナビゲーションECU6は前記S21で入力された画像から路面標示を検出し易くする為に、複数の画像処理を施す。具体的には、先ず路面標示が一般に白線又は黄線であることを用いて、入力した画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理を行い、更に歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行う。
【0064】
その後、S23ではナビゲーションECU6は路面標示と他の路面との境界を特定する境界線を検出するエッジ検出処理を行う。具体的には後方カメラ3で撮像した画像中の濃度階調の変化に基づいて境界線を検出する。
【0065】
続いて、S24では前記S23で検出された境界線に基づいて、入力された画像中に最高速度を示す路面標示において共通する数字である「0」の形状を有している標示部分が存在するか否かを検出する検出処理を行う。尚、上記S21〜S24が速度標示検出手段の処理に相当する。
【0066】
そして、S25では前記S24の検出の結果、「0」の形状を有する標示部分が入力された画像中に存在するか否かを判定し、存在すると判定された場合(S25:YES)には、入力された画像中に「最高速度」の路面標示が存在すると判定(認識)され(S26)、その判定結果を内部関数として出力する(S27)。その後、「最高速度」の路面標示が認識されたことに基づいて、認識された路面標示に関連付けられた制御対象物に対する走行の案内及び車両の制御処理を行う(S5〜S12)。尚、S25〜S26が速度標示認識手段の処理に相当する。
【0067】
一方、「0」の形状を有する標示部分が入力された画像中に存在しないと判定された場合(S25:NO)には、更に、入力された画像中に「最高速度」の路面標示以外の路面標示が存在するか否かを境界線及び境界線から特定された測定開始点の配置に基づいて判定し(S28)、その判定結果を内部関数として出力する(S27)。その後、「最高速度」の路面標示以外の路面標示が認識された場合には、認識された路面標示に関連付けられた制御対象物に対する走行の案内及び車両の制御処理を行う(S5〜S12)。
【0068】
以上詳細に説明した通り、第1実施形態に係る運転支援装置1では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S5〜S7)、制御対象物までの距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。
また、特に車両2が走行する路面上に形成された「最高速度」の路面標示を検出する際においては、先ず路面標示の境界線を抽出し、後方カメラ3で撮像した画像中に「0」の形状を有する標示部分が存在するか否かを判定し(S24)、「0」の形状を有する標示部分が存在すると判定された場合(S25:YES)には、「最高速度」の路面標示が路面上に形成されていることを認識する(S26)ので、異なる種類であっても共通の形状部分が存在する特定の路面標示に関して、路面標示を構成する全体の形状を検出することなく路面標示を認識することが可能となる。従って、処理負荷の軽減が可能となり、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両2から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ3によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置4の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【0069】
(第2実施形態)
次に、第2実施形態に係る運転支援装置100について図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
【0070】
この第2実施形態に係る運転支援装置100の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第2実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
【0071】
先ず、第2実施形態に係る運転支援装置100の概略構成について図12を用いて説明する。図12は第2実施形態に係る運転支援装置100の概略構成図である。
図12に示すように、第2実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
【0072】
前方カメラ101は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の前方に設置された信号機、道路標識、路面標示等を撮像する。
【0073】
尚、前方カメラ101以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した第1実施形態に係る運転支援装置1と同様であり、その説明は省略する。
【0074】
そして、第2実施形態に係る運転支援装置100では前方カメラ101で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
【0075】
例えば、前方カメラ101によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0076】
また、前方カメラ101によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0077】
また、前方カメラ101によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0078】
以上詳細に説明した通り、第2実施形態に係る運転支援装置100では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S5〜S7)、制御対象物までの距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0079】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
【図面の簡単な説明】
【0080】
【図1】第1実施形態に係る運転支援装置の概略構成図である。
【図2】第1実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図3】第1実施形態に係る路面標示DBの記憶領域を示した図である。
【図4】図4の(A)は「最高速度20km/h」の路面標示60を示した模式図、(B)は「最高速度60km/h」の路面標示60を示した模式図、図5は「最高速度」の路面標示60を撮像する車両2を示した側面図である。
【図5】路面標示を撮像する車両を示した上面図である。
【図6】図4及び図5の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。
【図7】路面標示を撮像する車両を示した側面図である。
【図8】(A)は「最高速度(20km/h)」の路面標示の測定開始点を示した模式図、(B)は「横断歩道有り」の路面標示の測定開始点を示した模式図である。
【図9】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの距離の算出方法について示した模式図である。
【図10】第1実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。
【図11】第1実施形態に係る運転支援装置における路面標示の画像認識処理プログラムのフローチャートである。
【図12】第2実施形態に係る運転支援装置の概略構成図である。
【符号の説明】
【0081】
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB
【特許請求の範囲】
【請求項1】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出する速度標示検出手段と、
前記速度標示検出手段の検出結果に基づいて前記速度路面標示が路面上に形成されていることを認識する速度標示認識手段と、を有することを特徴とする路面標示認識システム。
【請求項2】
前記速度路面標示は、異なる最高速度を示す速度路面標示において共通して用いられる共通数字を有し、
前記速度標示検出手段は、前記速度路面標示を構成する数字の内、前記共通数字を示す部分を検出することを特徴とする請求項1に記載の路面標示認識システム。
【請求項3】
車両の現在地を検出する現在地検出手段と、
路面に形成された速度路面標示の位置情報を記憶した標示情報記憶手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に速度路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記速度標示検出手段は、前記路面標示存在判定手段によって速度路面標示が存在すると判定された場合に速度路面標示の検出を行うことを特徴とする請求項1又は請求項2に記載の路面標示認識システム。
【請求項1】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された最高速度の数字を示す速度路面標示の一部を検出する速度標示検出手段と、
前記速度標示検出手段の検出結果に基づいて前記速度路面標示が路面上に形成されていることを認識する速度標示認識手段と、を有することを特徴とする路面標示認識システム。
【請求項2】
前記速度路面標示は、異なる最高速度を示す速度路面標示において共通して用いられる共通数字を有し、
前記速度標示検出手段は、前記速度路面標示を構成する数字の内、前記共通数字を示す部分を検出することを特徴とする請求項1に記載の路面標示認識システム。
【請求項3】
車両の現在地を検出する現在地検出手段と、
路面に形成された速度路面標示の位置情報を記憶した標示情報記憶手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に速度路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記速度標示検出手段は、前記路面標示存在判定手段によって速度路面標示が存在すると判定された場合に速度路面標示の検出を行うことを特徴とする請求項1又は請求項2に記載の路面標示認識システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2007−47886(P2007−47886A)
【公開日】平成19年2月22日(2007.2.22)
【国際特許分類】
【出願番号】特願2005−228897(P2005−228897)
【出願日】平成17年8月5日(2005.8.5)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年2月22日(2007.2.22)
【国際特許分類】
【出願日】平成17年8月5日(2005.8.5)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]