運転支援装置
【課題】路面上に形成された路面標示を検出することに基づいて、検出された路面標示に関連付けられた制御対象物までの道なり距離を算出することにより、様々な状況下において正確な制御対象物に対する運転の補助を行うことを可能とした運転支援装置を提供する。
【解決手段】車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ように構成する。
【解決手段】車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ように構成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像手段により撮像した画像に基づいて利用者の運転の補助を行う運転支援装置に関し、特に、路面上に形成された路面標示を検出することに基づいて、検出された路面標示に関連付けられた制御対象物までの道なり距離を間接的に算出することにより、様々な状況下において正確な制御対象物に対する運転の補助を行うことを可能とした運転支援装置に関するものである。
【背景技術】
【0002】
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2004−86363号公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて交差点での運転補助を実行する車両用運転補助装置について記載されている。
【特許文献1】特開2004−86363号公報(第8頁〜第10頁、図4)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前記した特許文献1に記載された車両用運転補助装置では、制御対象となる一時停止線を直接CCDカメラ等の検出手段によって検出し、検出した制御対象に対する案内や車両の制御を行っていたが、これらの装置では実用化する場合、以下に示すような課題があった。
【0004】
先ず、制御対象に対する案内や車両の制御を行う為には、制御対象から車両まで、ある程度の距離が離れた状態で制御対象を検出する必要があるので、遠方にある制御対象を明確に撮像する高性能カメラ等の高価なシステムが必要となっていた。また、たとえ高性能カメラを用いたとしても、制御対象を検出可能な距離には限界があり、必要な案内や車両の制御を行うのに間に合わない結果も生じていた。更に、制御対象を何らかの原因によって検出できなかった場合には、その制御対象に対する必要な案内や車両の制御を行うことはできなかった。
また、車両の走行方向に対して垂直方向に線分を有する制御対象(例えば、一時停止線)を走行中の車両に備え付けられたカメラで撮像しようとすると、撮像した画像中の制御対象にブレが生じ、正しく認識できない虞があった。
【0005】
一方、近年では、駐車時に車両の後方環境を撮像したカメラ画像を表示して、車両に対する運転者の駐車操作を支援する駐車支援装置を備えた車両が登場している。そのような駐車支援装置では、車両に対して後進方向側の状況を画像表示することによって、車両に対する運転者の駐車操作を支援するものや、ステアリング舵角センサからの信号に基づいて車両の進行予測曲線を算出し、算出した進行予測曲線を、上述したように撮像したカメラ画像に重畳して表示することによって、車両に対する運転者の駐車操作を支援するものが知られている。しかし、これらの装置は駐車時のみに用いられるものであり、通常走行時には特に使用されることが無かった。そこで、前記のような駐車時に後方環境を撮像するカメラを通常走行時にも用いる新たな用途が望まれていた。
【0006】
本発明は前記従来における問題点を解消するためになされたものであり、路面上に形成された路面標示を検出することに基づいて、間接的に制御対象物までの道なり距離を算出することが可能となり、様々な状況下において正確な制御対象物に対する運転の補助を行うことを可能とした運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
前記目的を達成するため本願の請求項1に運転支援装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像した画像に基づいて利用者の運転を補助する運転補助手段と、を有する運転支援装置において、路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示を検出する路面標示検出手段と、前記路面標示検出手段によって検出された路面標示と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両から検出された前記路面標示に関連付けられた制御対象物までの道なり距離を算出する対象物距離算出手段と、を有し、前記運転補助手段は、前記対象物距離算出手段の算出結果に基づいて利用者の運転を補助することを有することを特徴とする。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、「制御対象物」とは、利用者に対して運転の補助(例えば、制御対象物に関する案内を行うこと、車両の制御を行うこと等)を行うべき道路上の対象をいい、例えば、交差点やカーブの進入口等がある。
【0008】
また、請求項2に係る運転支援装置は、請求項1に記載の運転支援装置において、車両の駆動を制御する駆動制御手段を有し、前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記車両駆動制御手段による駆動の制御を行うことを特徴とする。
【0009】
また、請求項3に係る運転支援装置は、請求項1に記載の運転支援装置において、利用者に対して走行に関する案内を行う走行案内手段を備え、前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記走行案内手段による案内を行うことを特徴とする。
【0010】
更に、請求項4に係る運転支援装置は、請求項1乃至請求項3のいずれかに記載の運転支援装置において、車両の現在地を検出する現在地検出手段と、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、前記路面標示検出手段は、前記路面標示存在判定手段によって路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする。
【発明の効果】
【0011】
前記構成を有する請求項1の運転支援装置では、車両が走行する路面に形成された路面標示を検出し、検出された路面標示に関連付けられた制御対象物までの道なり距離を算出することによって、制御対象物に対する運転の補助を行うので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に車両から制御対象物までの道なり距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。
また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
【0012】
また、請求項2の運転支援装置では、車両から制御対象物までの道なり距離に基づいて車両の駆動の制御を行うので、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物の種類の応じた車両の制御を行うことが可能となる。
【0013】
また、請求項3の運転支援装置では、車両から制御対象物までの道なり距離に基づいて走行に関する案内を行うので、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物の種類の応じた走行の案内を行うことが可能となる。
【0014】
更に、請求項4の運転支援装置では、車両の現在地から所定範囲内に路面標示が存在する場合に路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明に係る運転支援装置について具体化した第1及び第2実施形態に基づき図面を参照しつつ詳細に説明する。
【0016】
(第1実施形態)
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
【0017】
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
【0018】
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ(走行案内手段)7と、経路案内に関する音声ガイダンスを出力するスピーカ(走行案内手段)8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置13とから構成されている。
ナビゲーションECU(運転補助手段、路面標示手段、対象物距離算出手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの道なり距離を、検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
【0019】
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ(駆動制御手段)11、アクセルアクチュエータ(駆動制御手段)12が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11及びアクセルアクチュエータ12に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
【0020】
次に、第1実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は第1実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【0021】
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
【0022】
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
【0023】
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0024】
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【0025】
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
【0026】
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部10の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
【0027】
また、地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置4では路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
【0028】
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との道なり距離を算出し、運転補助を行う後述の運転支援処理プログラム(図9参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
【0029】
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
【0030】
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
【0031】
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置13等の各周辺装置が電気的に接続されている。
【0032】
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。尚、液晶ディスプレイ7の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
【0033】
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ8より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置4では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
【0034】
そして、通信装置13は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装置13としては、LAN、WAN、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通信を可能とするネットワーク機器であっても良い。更に、通信装置13は前記情報センタからの情報の他に、ニュース、天気予報等の情報から成るFM多重情報を、FM放送局を介してFM多重放送として受信するFM受信機を備える。尚、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。また、第1実施形態に係るナビゲーション装置4は通信装置13を介して情報センタに接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
【0035】
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は第1実施形態に係る路面標示DB42の記憶領域を示した図である。
【0036】
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの道なり距離とから構成されている。例えば、図3では座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)には「矢印」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)には「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x4,y4)には「横断歩道」の路面標示が形成されており、且つその路面標示には89m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。
尚、制御対象物までの道なり距離に関して、道路が複数車線からなる場合においては、車線毎の制御対象物までの道なり距離が記録される。
【0037】
ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての道なり距離を間接的に算出し、その道なり距離が所定距離となった場合に車両2の駆動制御や走行の案内を行う。
【0038】
また、車両2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との道なり距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
【0039】
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの道なり距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
【0040】
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの道なり距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0041】
次に、図4乃至図8を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面60に形成された路面標示の内、特に制御対象物として停止線の路面標示69が対応付けられた「横断歩道有り」の路面標示61を撮像した場合を示すこととする。図4は路面標示61を撮像する車両2を示した上面図、図5は路面標示61を撮像する車両2を示した側面図、図6は図4及び図5の状態における車両2の後方カメラ3によって撮像された撮像画像62を示した模式図である。
【0042】
後方カメラ3は、図5に示すように車両2の後バンパー63付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された図6に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
【0043】
ここで、路面標示には車両2との距離を計測する為の測定開始点が予め複数箇所に定義されており、車両2から最も進行方向側にある測定開始点までの距離を車両2から路面標示までの距離として扱う。例えば、図7(A)は「横断歩道有り」の路面標示61の測定開始点61A〜61Dを示した模式図、図7(B)は「最高速度(20km/h)」の路面標示65の測定開始点65A〜65Dを示した模式図である。
図7(A)及び図7(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に複数個設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU6は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
【0044】
また、図6に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両2と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図7(A)に示す「横断歩道有り」の路面標示61では測定開始点61Aとの距離が算出される。但し、測定開始点61Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、先ず測定開始点61Bまでの距離を算出し、その後に測定開始点61Aと測定開始点61Bとの距離を用いることによって測定開始点61Aとの距離が間接的に算出される。更に、測定開始点61Bについても特定できなかった場合には測定開始点61Cが用いられ、測定開始点61Cについても特定できなかった場合には測定開始点61Dが用いられる。
【0045】
また、図7(B)に示す「最高速度(20km/h)」の路面標示65では測定開始点65A及び測定開始点65Bとの距離が算出される。但し、測定開始点65A及び測定開始点65Bが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、測定開始点65C及び測定開始点65Dを用いることによって測定開始点65A及び測定開始点65Bとの距離が間接的に算出される。
【0046】
一方、前記した方法によって車両2と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの道なり距離を算出することが可能である。図8は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの道なり距離の算出方法について示した模式図である。
【0047】
図8では、「横断歩道有り」の路面標示61を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示61には制御対象物として前方の道なり距離D2にある「停止線」の路面標示69が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示61の検出時点での車両2から制御対象物までの道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの道なり距離(D2−D1−S)を算出することが可能となる。また、算出された「停止線」の路面標示69までの道なり距離(D2−D1−S)に基づいてブレーキアクチュエータ11を制御することにより、停止線に沿って車両2が停止されるようにブレーキ圧を調整することが可能となる。
【0048】
また、図9では他の具体例として、3車線により構成される道路を車両2が走行し、路面表示71の検出に基づいて、制御対象物であるコーナ開始点72までの道なり距離を算出する場合について示す。ここで、複数車線からなる道路においては、車線毎にカーブに沿った道なり距離D2(外側の車線ほどD2の距離は長くなる)で路面標示61に対する制御対象物(図9ではコーナ開始点72)が関連付けられている。
そして、図9に示すように、「横断歩道有り」の路面標示71を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示71の検出時点での車両2から制御対象物までのカーブに沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までのカーブに沿った道なり距離(D2−D1−S)を算出することが可能となる。
【0049】
また、図10では更に別の具体例として、上り坂により構成される道路を車両2が走行し、路面表示73の検出に基づいて、制御対象物である「停止線」の路面標示74までの道なり距離を算出する場合について示す。ここで、路面標示73には制御対象物として坂の勾配に沿った道なり距離D2にある「停止線」の路面標示74が関連付けられている。
そして、図10に示すように、「横断歩道有り」の路面標示73を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示73の検出時点での車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1−S)を算出することが可能となる。
【0050】
以上のように、直接制御対象物を認識することなく、後方カメラ3によって検出された路面標示から前方にある制御対象物までの道なり距離を間接的に算出することにより、より早い段階で正確な制御対象物までの道なり距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの道なり距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
【0051】
続いて、前記構成を有する第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図11に基づき説明する。図11は第1実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの道なり距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、図11にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
【0052】
運転支援処理では、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第1実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
【0053】
次に、S2では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、路面標示の画像認識処理を行う。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS2が路面標示存在判定手段の処理に相当する。
【0054】
S3の路面標示の画像認識処理では、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。尚、このS3が路面標示検出手段の処理に相当する。
【0055】
そして、S4では路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S4:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S5へと移行する。一方、路面標示が認識されなかったと判定された場合(S4:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
【0056】
S5では前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図6参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。
【0057】
その後、S6では前記S5で算出された車両2と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの道なり距離D2(D2の値は予め路面標示DB42に記憶される。図3参照)から、車両2から検出された路面標示に関連付けられた制御対象物までの道なり距離(D2−D1)を算出する(図8参照)。
【0058】
更に、S7ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両2の走行距離Sを算出し、前記S6で算出された車両2と制御対象物までの道なり距離(D2−D1)に基づいて、走行中の車両2から制御対象物までの道なりの残距離(D2−D1−S)を算出する(図8参照)。尚、このS5〜S7が対象物距離算出手段の処理に相当する。
【0059】
また、S8では前記S7で算出された制御対象物までの道なりの残距離(D2−D1−S)に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
【0060】
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S8:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S9)。ここで、第1実施形態に係る運転支援装置1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との道なり距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの道なり距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの道なり距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0061】
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
【0062】
そして、S10で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S10:YES)には、S11で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
【0063】
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S8:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S10:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0064】
続いて、S12では、前記S7で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S12:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S12:NO)には、S7へと戻り、現在の車両2から制御対象物の位置までの残距離(D2−D1−S)が再び算出される。
【0065】
以上詳細に説明した通り、第1実施形態に係る運転支援装置1では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの道なり距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両2から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ3によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置4の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
【0066】
(第2実施形態)
次に、第2実施形態に係る運転支援装置100について図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
【0067】
この第2実施形態に係る運転支援装置100の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第2実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
【0068】
先ず、第2実施形態に係る運転支援装置100の概略構成について図12を用いて説明する。図12は第2実施形態に係る運転支援装置100の概略構成図である。
図12に示すように、第2実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
【0069】
前方カメラ101は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の前方に設置された信号機、道路標識、路面標示等を撮像する。
【0070】
尚、前方カメラ101以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した第1実施形態に係る運転支援装置1と同様であり、その説明は省略する。
【0071】
そして、第2実施形態に係る運転支援装置100では前方カメラ101で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
【0072】
例えば、前方カメラ101によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0073】
また、前方カメラ101によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0074】
また、前方カメラ101によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0075】
以上詳細に説明した通り、第2実施形態に係る運転支援装置100では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの道なり距離を正確に算出することが可能となる。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0076】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
【図面の簡単な説明】
【0077】
【図1】第1実施形態に係る運転支援装置の概略構成図である。
【図2】第1実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図3】第1実施形態に係る路面標示DBの記憶領域を示した図である。
【図4】路面標示を撮像する車両を示した上面図である。
【図5】路面標示を撮像する車両を示した側面図である。
【図6】図4及び図5の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。
【図7】(A)は「横断歩道有り」の路面標示の測定開始点を示した模式図、(B)は「最高速度(20km/h)」の路面標示の測定開始点を示した模式図である。
【図8】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図9】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図10】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図11】第1実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。
【図12】第2実施形態に係る運転支援装置の概略構成図である。
【符号の説明】
【0078】
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB
【技術分野】
【0001】
本発明は、撮像手段により撮像した画像に基づいて利用者の運転の補助を行う運転支援装置に関し、特に、路面上に形成された路面標示を検出することに基づいて、検出された路面標示に関連付けられた制御対象物までの道なり距離を間接的に算出することにより、様々な状況下において正確な制御対象物に対する運転の補助を行うことを可能とした運転支援装置に関するものである。
【背景技術】
【0002】
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2004−86363号公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて交差点での運転補助を実行する車両用運転補助装置について記載されている。
【特許文献1】特開2004−86363号公報(第8頁〜第10頁、図4)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前記した特許文献1に記載された車両用運転補助装置では、制御対象となる一時停止線を直接CCDカメラ等の検出手段によって検出し、検出した制御対象に対する案内や車両の制御を行っていたが、これらの装置では実用化する場合、以下に示すような課題があった。
【0004】
先ず、制御対象に対する案内や車両の制御を行う為には、制御対象から車両まで、ある程度の距離が離れた状態で制御対象を検出する必要があるので、遠方にある制御対象を明確に撮像する高性能カメラ等の高価なシステムが必要となっていた。また、たとえ高性能カメラを用いたとしても、制御対象を検出可能な距離には限界があり、必要な案内や車両の制御を行うのに間に合わない結果も生じていた。更に、制御対象を何らかの原因によって検出できなかった場合には、その制御対象に対する必要な案内や車両の制御を行うことはできなかった。
また、車両の走行方向に対して垂直方向に線分を有する制御対象(例えば、一時停止線)を走行中の車両に備え付けられたカメラで撮像しようとすると、撮像した画像中の制御対象にブレが生じ、正しく認識できない虞があった。
【0005】
一方、近年では、駐車時に車両の後方環境を撮像したカメラ画像を表示して、車両に対する運転者の駐車操作を支援する駐車支援装置を備えた車両が登場している。そのような駐車支援装置では、車両に対して後進方向側の状況を画像表示することによって、車両に対する運転者の駐車操作を支援するものや、ステアリング舵角センサからの信号に基づいて車両の進行予測曲線を算出し、算出した進行予測曲線を、上述したように撮像したカメラ画像に重畳して表示することによって、車両に対する運転者の駐車操作を支援するものが知られている。しかし、これらの装置は駐車時のみに用いられるものであり、通常走行時には特に使用されることが無かった。そこで、前記のような駐車時に後方環境を撮像するカメラを通常走行時にも用いる新たな用途が望まれていた。
【0006】
本発明は前記従来における問題点を解消するためになされたものであり、路面上に形成された路面標示を検出することに基づいて、間接的に制御対象物までの道なり距離を算出することが可能となり、様々な状況下において正確な制御対象物に対する運転の補助を行うことを可能とした運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
前記目的を達成するため本願の請求項1に運転支援装置は、車両に配置され、車両の周辺を撮像する撮像手段と、前記撮像手段により撮像した画像に基づいて利用者の運転を補助する運転補助手段と、を有する運転支援装置において、路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示を検出する路面標示検出手段と、前記路面標示検出手段によって検出された路面標示と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両から検出された前記路面標示に関連付けられた制御対象物までの道なり距離を算出する対象物距離算出手段と、を有し、前記運転補助手段は、前記対象物距離算出手段の算出結果に基づいて利用者の運転を補助することを有することを特徴とする。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、「制御対象物」とは、利用者に対して運転の補助(例えば、制御対象物に関する案内を行うこと、車両の制御を行うこと等)を行うべき道路上の対象をいい、例えば、交差点やカーブの進入口等がある。
【0008】
また、請求項2に係る運転支援装置は、請求項1に記載の運転支援装置において、車両の駆動を制御する駆動制御手段を有し、前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記車両駆動制御手段による駆動の制御を行うことを特徴とする。
【0009】
また、請求項3に係る運転支援装置は、請求項1に記載の運転支援装置において、利用者に対して走行に関する案内を行う走行案内手段を備え、前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記走行案内手段による案内を行うことを特徴とする。
【0010】
更に、請求項4に係る運転支援装置は、請求項1乃至請求項3のいずれかに記載の運転支援装置において、車両の現在地を検出する現在地検出手段と、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、前記路面標示検出手段は、前記路面標示存在判定手段によって路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする。
【発明の効果】
【0011】
前記構成を有する請求項1の運転支援装置では、車両が走行する路面に形成された路面標示を検出し、検出された路面標示に関連付けられた制御対象物までの道なり距離を算出することによって、制御対象物に対する運転の補助を行うので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に車両から制御対象物までの道なり距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。
また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
【0012】
また、請求項2の運転支援装置では、車両から制御対象物までの道なり距離に基づいて車両の駆動の制御を行うので、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物の種類の応じた車両の制御を行うことが可能となる。
【0013】
また、請求項3の運転支援装置では、車両から制御対象物までの道なり距離に基づいて走行に関する案内を行うので、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物の種類の応じた走行の案内を行うことが可能となる。
【0014】
更に、請求項4の運転支援装置では、車両の現在地から所定範囲内に路面標示が存在する場合に路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明に係る運転支援装置について具体化した第1及び第2実施形態に基づき図面を参照しつつ詳細に説明する。
【0016】
(第1実施形態)
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
【0017】
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
【0018】
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ(走行案内手段)7と、経路案内に関する音声ガイダンスを出力するスピーカ(走行案内手段)8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置13とから構成されている。
ナビゲーションECU(運転補助手段、路面標示手段、対象物距離算出手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの道なり距離を、検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
【0019】
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ(駆動制御手段)11、アクセルアクチュエータ(駆動制御手段)12が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11及びアクセルアクチュエータ12に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
【0020】
次に、第1実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は第1実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
【0021】
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
【0022】
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
【0023】
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
【0024】
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
【0025】
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
【0026】
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部10の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
【0027】
また、地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置4では路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
【0028】
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との道なり距離を算出し、運転補助を行う後述の運転支援処理プログラム(図9参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
【0029】
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
【0030】
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
【0031】
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置13等の各周辺装置が電気的に接続されている。
【0032】
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。尚、液晶ディスプレイ7の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
【0033】
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ8より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置4では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
【0034】
そして、通信装置13は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装置13としては、LAN、WAN、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通信を可能とするネットワーク機器であっても良い。更に、通信装置13は前記情報センタからの情報の他に、ニュース、天気予報等の情報から成るFM多重情報を、FM放送局を介してFM多重放送として受信するFM受信機を備える。尚、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。また、第1実施形態に係るナビゲーション装置4は通信装置13を介して情報センタに接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
【0035】
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は第1実施形態に係る路面標示DB42の記憶領域を示した図である。
【0036】
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの道なり距離とから構成されている。例えば、図3では座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)には「矢印」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)には「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x4,y4)には「横断歩道」の路面標示が形成されており、且つその路面標示には89m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。
尚、制御対象物までの道なり距離に関して、道路が複数車線からなる場合においては、車線毎の制御対象物までの道なり距離が記録される。
【0037】
ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての道なり距離を間接的に算出し、その道なり距離が所定距離となった場合に車両2の駆動制御や走行の案内を行う。
【0038】
また、車両2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との道なり距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
【0039】
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの道なり距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
【0040】
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの道なり距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0041】
次に、図4乃至図8を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面60に形成された路面標示の内、特に制御対象物として停止線の路面標示69が対応付けられた「横断歩道有り」の路面標示61を撮像した場合を示すこととする。図4は路面標示61を撮像する車両2を示した上面図、図5は路面標示61を撮像する車両2を示した側面図、図6は図4及び図5の状態における車両2の後方カメラ3によって撮像された撮像画像62を示した模式図である。
【0042】
後方カメラ3は、図5に示すように車両2の後バンパー63付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された図6に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
【0043】
ここで、路面標示には車両2との距離を計測する為の測定開始点が予め複数箇所に定義されており、車両2から最も進行方向側にある測定開始点までの距離を車両2から路面標示までの距離として扱う。例えば、図7(A)は「横断歩道有り」の路面標示61の測定開始点61A〜61Dを示した模式図、図7(B)は「最高速度(20km/h)」の路面標示65の測定開始点65A〜65Dを示した模式図である。
図7(A)及び図7(B)に示すように、路面標示の測定開始点は路面標示を形成するライン(境界線)の角部や先端部に複数個設けられており、路面標識毎に特有の配置を有する。そして、ナビゲーションECU6は路面標示を撮像した際に、その撮像した路面標示の画像から路面標示の境界線や測定開始点を特定することにより、路面標識の種類を判定することが可能となる。
【0044】
また、図6に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両2と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図7(A)に示す「横断歩道有り」の路面標示61では測定開始点61Aとの距離が算出される。但し、測定開始点61Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、先ず測定開始点61Bまでの距離を算出し、その後に測定開始点61Aと測定開始点61Bとの距離を用いることによって測定開始点61Aとの距離が間接的に算出される。更に、測定開始点61Bについても特定できなかった場合には測定開始点61Cが用いられ、測定開始点61Cについても特定できなかった場合には測定開始点61Dが用いられる。
【0045】
また、図7(B)に示す「最高速度(20km/h)」の路面標示65では測定開始点65A及び測定開始点65Bとの距離が算出される。但し、測定開始点65A及び測定開始点65Bが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた状態や、長年の使用による劣化によって白線の一部で塗装が剥がれている場合)によって特定できなかった場合には、測定開始点65C及び測定開始点65Dを用いることによって測定開始点65A及び測定開始点65Bとの距離が間接的に算出される。
【0046】
一方、前記した方法によって車両2と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの道なり距離を算出することが可能である。図8は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの道なり距離の算出方法について示した模式図である。
【0047】
図8では、「横断歩道有り」の路面標示61を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示61には制御対象物として前方の道なり距離D2にある「停止線」の路面標示69が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示61の検出時点での車両2から制御対象物までの道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの道なり距離(D2−D1−S)を算出することが可能となる。また、算出された「停止線」の路面標示69までの道なり距離(D2−D1−S)に基づいてブレーキアクチュエータ11を制御することにより、停止線に沿って車両2が停止されるようにブレーキ圧を調整することが可能となる。
【0048】
また、図9では他の具体例として、3車線により構成される道路を車両2が走行し、路面表示71の検出に基づいて、制御対象物であるコーナ開始点72までの道なり距離を算出する場合について示す。ここで、複数車線からなる道路においては、車線毎にカーブに沿った道なり距離D2(外側の車線ほどD2の距離は長くなる)で路面標示61に対する制御対象物(図9ではコーナ開始点72)が関連付けられている。
そして、図9に示すように、「横断歩道有り」の路面標示71を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示71の検出時点での車両2から制御対象物までのカーブに沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までのカーブに沿った道なり距離(D2−D1−S)を算出することが可能となる。
【0049】
また、図10では更に別の具体例として、上り坂により構成される道路を車両2が走行し、路面表示73の検出に基づいて、制御対象物である「停止線」の路面標示74までの道なり距離を算出する場合について示す。ここで、路面標示73には制御対象物として坂の勾配に沿った道なり距離D2にある「停止線」の路面標示74が関連付けられている。
そして、図10に示すように、「横断歩道有り」の路面標示73を車両2が後方カメラ3で検出した場合には、距離D2から距離D1を減算することによって、路面標示73の検出時点での車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの坂の勾配に沿った道なり距離(D2−D1−S)を算出することが可能となる。
【0050】
以上のように、直接制御対象物を認識することなく、後方カメラ3によって検出された路面標示から前方にある制御対象物までの道なり距離を間接的に算出することにより、より早い段階で正確な制御対象物までの道なり距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの道なり距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
【0051】
続いて、前記構成を有する第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図11に基づき説明する。図11は第1実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの道なり距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、図11にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
【0052】
運転支援処理では、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第1実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
【0053】
次に、S2では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、路面標示の画像認識処理を行う。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS2が路面標示存在判定手段の処理に相当する。
【0054】
S3の路面標示の画像認識処理では、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。尚、このS3が路面標示検出手段の処理に相当する。
【0055】
そして、S4では路面標示が認識されたか否かが判定され、路面標示が認識されたと判定された場合(S4:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S5へと移行する。一方、路面標示が認識されなかったと判定された場合(S4:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
【0056】
S5では前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図6参照)中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。
【0057】
その後、S6では前記S5で算出された車両2と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの道なり距離D2(D2の値は予め路面標示DB42に記憶される。図3参照)から、車両2から検出された路面標示に関連付けられた制御対象物までの道なり距離(D2−D1)を算出する(図8参照)。
【0058】
更に、S7ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両2の走行距離Sを算出し、前記S6で算出された車両2と制御対象物までの道なり距離(D2−D1)に基づいて、走行中の車両2から制御対象物までの道なりの残距離(D2−D1−S)を算出する(図8参照)。尚、このS5〜S7が対象物距離算出手段の処理に相当する。
【0059】
また、S8では前記S7で算出された制御対象物までの道なりの残距離(D2−D1−S)に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
【0060】
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S8:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S9)。ここで、第1実施形態に係る運転支援装置1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との道なり距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの道なり距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの道なり距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
【0061】
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
【0062】
そして、S10で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S10:YES)には、S11で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
【0063】
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S8:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S10:NO)には、S7へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
【0064】
続いて、S12では、前記S7で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S12:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S12:NO)には、S7へと戻り、現在の車両2から制御対象物の位置までの残距離(D2−D1−S)が再び算出される。
【0065】
以上詳細に説明した通り、第1実施形態に係る運転支援装置1では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの道なり距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。
また、車両2から所定範囲内に路面標示が存在すると判定された場合のみに、後方カメラ3によって撮像された画像から路面標示の認識処理を行うので、ナビゲーション装置4の処理負荷を最小限とすることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と併行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、制御対象物が車両の走行方向に対して垂直方向に線分を有するもの(例えば、停止線)であったとしても、直接に制御対象物を撮像する必要が無いので、走行した状態で撮像することによって生じる画像のブレによって制御対象物が正しく認識できなくなる虞がない。
【0066】
(第2実施形態)
次に、第2実施形態に係る運転支援装置100について図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
【0067】
この第2実施形態に係る運転支援装置100の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第2実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
【0068】
先ず、第2実施形態に係る運転支援装置100の概略構成について図12を用いて説明する。図12は第2実施形態に係る運転支援装置100の概略構成図である。
図12に示すように、第2実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
【0069】
前方カメラ101は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の前方に設置された信号機、道路標識、路面標示等を撮像する。
【0070】
尚、前方カメラ101以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した第1実施形態に係る運転支援装置1と同様であり、その説明は省略する。
【0071】
そして、第2実施形態に係る運転支援装置100では前方カメラ101で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
【0072】
例えば、前方カメラ101によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0073】
また、前方カメラ101によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S8〜S11)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
【0074】
また、前方カメラ101によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0075】
以上詳細に説明した通り、第2実施形態に係る運転支援装置100では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S3)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの道なり距離を算出し(S5〜S7)、制御対象物までの道なり距離が所定距離となったと判定された場合(S8:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S11)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの道なり距離を正確に算出することが可能となる。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
【0076】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
【図面の簡単な説明】
【0077】
【図1】第1実施形態に係る運転支援装置の概略構成図である。
【図2】第1実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。
【図3】第1実施形態に係る路面標示DBの記憶領域を示した図である。
【図4】路面標示を撮像する車両を示した上面図である。
【図5】路面標示を撮像する車両を示した側面図である。
【図6】図4及び図5の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。
【図7】(A)は「横断歩道有り」の路面標示の測定開始点を示した模式図、(B)は「最高速度(20km/h)」の路面標示の測定開始点を示した模式図である。
【図8】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図9】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図10】車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの道なり距離の算出方法について示した模式図である。
【図11】第1実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。
【図12】第2実施形態に係る運転支援装置の概略構成図である。
【符号の説明】
【0078】
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB
【特許請求の範囲】
【請求項1】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて利用者の運転を補助する運転補助手段と、を有する運転支援装置において、
路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、
前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示を検出する路面標示検出手段と、
前記路面標示検出手段によって検出された路面標示と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両から検出された前記路面標示に関連付けられた制御対象物までの道なり距離を算出する対象物距離算出手段と、を有し、
前記運転補助手段は、前記対象物距離算出手段の算出結果に基づいて利用者の運転を補助することを有することを特徴とする運転支援装置。
【請求項2】
車両の駆動を制御する駆動制御手段を有し、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記車両駆動制御手段による駆動の制御を行うことを特徴とする請求項1に記載の運転支援装置。
【請求項3】
利用者に対して走行に関する案内を行う走行案内手段を備え、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記走行案内手段による案内を行うことを特徴とする請求項1に記載の運転支援装置。
【請求項4】
車両の現在地を検出する現在地検出手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記路面標示検出手段は、前記路面標示存在判定手段によって路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする請求項1乃至請求項3のいずれかに記載の運転支援装置。
【請求項1】
車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて利用者の運転を補助する運転補助手段と、を有する運転支援装置において、
路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、
前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示を検出する路面標示検出手段と、
前記路面標示検出手段によって検出された路面標示と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両から検出された前記路面標示に関連付けられた制御対象物までの道なり距離を算出する対象物距離算出手段と、を有し、
前記運転補助手段は、前記対象物距離算出手段の算出結果に基づいて利用者の運転を補助することを有することを特徴とする運転支援装置。
【請求項2】
車両の駆動を制御する駆動制御手段を有し、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記車両駆動制御手段による駆動の制御を行うことを特徴とする請求項1に記載の運転支援装置。
【請求項3】
利用者に対して走行に関する案内を行う走行案内手段を備え、
前記運転補助手段は、車両から前記制御対象物までの道なり距離に基づいて前記走行案内手段による案内を行うことを特徴とする請求項1に記載の運転支援装置。
【請求項4】
車両の現在地を検出する現在地検出手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記路面標示検出手段は、前記路面標示存在判定手段によって路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする請求項1乃至請求項3のいずれかに記載の運転支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2007−145251(P2007−145251A)
【公開日】平成19年6月14日(2007.6.14)
【国際特許分類】
【出願番号】特願2005−344701(P2005−344701)
【出願日】平成17年11月29日(2005.11.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年6月14日(2007.6.14)
【国際特許分類】
【出願日】平成17年11月29日(2005.11.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]