車両用運転支援装置
【課題】地理的な対象物の探索に関して、処理速度と検出精度とを高めることができる車両用運転支援装置を提供する。
【解決手段】前方監視カメラ3、GPS4、ジャイロセンサ5、制御ユニットUを利用して、ナビゲーション装置6が保有する三次元地図データとしてのボクセルBを抽出すると共に、そのボクセルBのうちから、区画線23等を含むものを抽出し、それらを前方監視カメラ3が撮影した撮影画像に組み込む。そして、その撮影画像21全域ではなく、その撮影画像21のうち、区画線23等を含むボクセルBについてのみ、区画線23等の検出処理を行う。これにより、探索領域(検出範囲)を少なくする。
【解決手段】前方監視カメラ3、GPS4、ジャイロセンサ5、制御ユニットUを利用して、ナビゲーション装置6が保有する三次元地図データとしてのボクセルBを抽出すると共に、そのボクセルBのうちから、区画線23等を含むものを抽出し、それらを前方監視カメラ3が撮影した撮影画像に組み込む。そして、その撮影画像21全域ではなく、その撮影画像21のうち、区画線23等を含むボクセルBについてのみ、区画線23等の検出処理を行う。これにより、探索領域(検出範囲)を少なくする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用運転支援装置に関する。
【背景技術】
【0002】
車両用運転支援装置としては、特許文献1に示すように、撮像手段により取得された画像の全画像にハフ変換を行って、走行路上の白線(対象物)を検出するものがある。また、特許文献2には、レーザとカメラとにより取得された画像に基づいて、走行路上の白線を検出するものが示されている。このように、従来、地理的な対象物としての白線を検出するに際しては、撮影画像の全域について、探索が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−85999号公報
【特許文献2】特開2004−98792号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記のように、撮影画像の全域から対象物を探索する場合には、処理負担が大きく、検出処理に時間がかかると共に、検出精度が悪いという問題がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、その技術的課題は、地理的な対象物の検出に関して、その処理速度と検出精度とを向上させることができる車両用運転支援装置を提供することにある。
【課題を解決するための手段】
【0006】
前記技術的課題を達成するために本発明(請求項1に係る発明)においては、
三次元空間を三次元地図データとして所定の大きさのボクセルに分割し、その各ボクセルの三次元位置座標と、その各ボクセルに含まれる対象物種別の属性データと、を記憶するボクセル地図データ記憶手段と、
車両位置を検出する車両位置検出手段と、
車両進行方向を検出する車両進行方向検出手段と、
車両周囲の対象物を撮影する撮像手段と、
前記車両位置検出手段が検出する車両位置と、前記車両進行方向検出手段が検出する車両進行方向とに基づいて、前記撮像手段の撮影可能範囲を算出して該撮影可能範囲に属するボクセルを前記ボクセル地図データ記憶手段から抽出すると共に、該撮影可能範囲に属する各ボクセルに含まれる属性データに基づき対象物を含むボクセルを抽出するボクセル抽出手段と、
前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセルを、前記撮像手段が撮影した撮影画像に組み込んだ上で、その組み込み画像において、該属性データとして対象物を含むボクセルに対して該対象物の検出処理を行う対象物位置検出手段と、
が備えられている、
ことを特徴とする車両用運転支援装置とした構成とされている。この請求項1の好ましい態様としては、請求項2以下の記載の通りとなる。
【発明の効果】
【0007】
請求項1の発明によれば、対象物の位置を検出するに際して、地物の属性を有するボクセルの三次元地図情報を、撮像手段が撮影した撮影画像に組み込んで、撮影画像の全域ではなく、属性データとして対象物を含むボクセルのみに対して対象物の検出処理を行うことができ、探索領域(検出範囲)を少なくすることができる。このため、対象物の検出処理速度及び検出精度の向上を図ることができる。
【0008】
請求項2の発明によれば、対象物位置検出手段が、対象物の種類に応じた該対象物の抽出ロジックを複数備えて、該各抽出ロジックに基づいて検出機能を発揮するように設定されていると共に、対象物の種類に基づき、対象物位置検出手段が使用すべき抽出ロジックを選択して、選択した抽出ロジックを対象物位置検出手段の使用すべき抽出ロジックとして設定する抽出ロジック設定手段が備えられていることから、検出処理速度及び検出精度を高めつつ、各種対象物の位置を的確に検出できる。
【0009】
請求項3の発明によれば、対象物位置検出手段が、前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセル内を所定範囲に限って探索(検出)するように設定されていることから、探索範囲をさらに狭めることができ、検出処理速度及び検出精度を、一層向上させることができる。
【0010】
請求項4の発明によれば、対象物位置検出手段が、前記各ボクセルについて対象物の検出処理を行うに際して、該各ボクセルの周囲におけるボクセルが形成する属性データとしての対象物の有無パターンが所定パターンであるときには、予め設定された所定方向で且つ所定幅の領域の範囲を探索範囲とするように設定されていることから、請求項3の作用効果を具体的に実現できる。
【0011】
請求項5の発明によれば、対象物位置検出手段が、検出処理を終えたボクセルに隣接する隣接ボクセルについて対象物の検出処理を行うに際して、該検出処理を終えたボクセルの検出結果に基づく対象物と該隣接ボクセルの境界線との交点を基準に、対象物の進行方向側を探索範囲とするように設定されていることから、請求項3の作用効果を具体的に実現できる。
【0012】
請求項6の発明によれば、対象物が、区画線又は路肩段差であることから、対象物としての区画線又は路肩段差の検出処理速度及び検出精度の向上を図ることができる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係る車両用支援運転装置を搭載した車両を平面的に示す図。
【図2】実施形態に係る車両用支援運転装置を示す構成図。
【図3】ボクセルを概念的に説明ずる説明図。
【図4】第1実施形態に係る制御例を示すフローチャート。
【図5】図4の続きを示すフローチャート。
【図6】前方監視カメラが撮影する撮影画像の一例を示す図。
【図7】カメラ撮影可能範囲に属するボクセルの存在を概念的に示す図。
【図8】カメラ撮影可能範囲に属するボクセルのうち、区画線(データ)のみを含むボクセルB、路肩段差(データ)のみを含むボクセル、区画線及び路肩段差の両方(データ)を含むボクセルBが抽出された状態を概念的に示す図。
【図9】区画線のみを含むボクセル、路肩段差のみを含むボクセル、区画線及び路肩段差の両方を含むボクセル等を画像変換して、撮影画像に組み込んだ状態を示す図。
【図10】第1実施形態を一部分のボクセルを用いて説明する説明図。
【図11】第1実施形態を他部分のボクセルを用いて説明する説明図。
【図12】第2実施形態を一部分のボクセル用いて説明する説明図。
【図13】第2実施形態を他部分のボクセル用いて説明する説明図。
【図14】第2実施形態に係る制御例を示すフローチャート。
【図15】図14の続きを示すフローチャート。
【図16】第3実施形態に係る車両用支援運転装置を説明する説明図。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について、図面に基づいて説明する。
図1〜図10は第1実施形態を示す。この第1実施形態を示す図1において、符号1は車両(自車)で、この車両1には、地理的な対象物としての区画線(白線)、路肩段差等を検出する実施形態に係る車両用運転支援装置2が搭載されている。この車両用運転支援装置2は、前方を監視する前方監視カメラ(ステレオカメラ)3と、自車位置を検出する車両(自車)位置検出手段としてのGPS4と、車両(自車)進行方向を検出する車両進行方向検出手段としてのジャイロセンサ5と、ボクセル三次元地図データ記憶手段としてのナビゲーション装置6と、それらからの各種情報を入力情報として、区画線(白線)・路肩段差等の地理的な対象物の検出処理を実行する制御ユニットU(図2参照)と、が備えられている。
【0015】
前記車両用運転支援装置2の構成要素のうち、三次元地図データ記憶手段としてのナビゲーション装置6は、図3に示すボクセルBを用いて、三次元地図データを記憶している。ボクセルBは、三次元空間を所定の大きさ、例えば一辺1mの立方体に分割したものであり、その各ボクセルBには、その三次元位置座標、各ボクセルBに含まれる対象物種別の属性データ、例えば、区画線、路肩段差等が含まれている。図3中、○印は各ボクセルBの中心位置を示す。
【0016】
前記制御ユニットUは、前記区画線・路肩段差等の検出処理を行うべく、図2に示す構成を有しており、その検出処理に基づき、表示・警報出力装置をも兼ねる前記ナビゲーション装置6、レーンキープ制御装置(例えば操舵装置)20に出力信号を出力することになっている。
【0017】
制御ユニットUは、図2に示すように、撮影画像保存処理部7、自車位置検出処理部8、マップマッチング処理部9、自車位置補正処理部10、進行方向検出処理部11を備えている。撮影画像保存処理部7には、前方監視カメラ3により撮影された撮影画像情報が入力されることになり、そこにおいて、撮影画像情報が保存される。自車位置検出処理部8には、前記GPS4からの出力信号が入力されることになり、そこにおいて、GPS4からの出力信号に基づき自車位置が検出される。そして、自車位置は、マップマッチング処理部9において、ナビゲーション装置6から読み出した地図上において所定の(本来の)道路から外れている場合には、マップマッチング処理部9から自車位置補正処理部10にその情報が出力され、そこにおいて、自車位置は所定の道路上に修正されることになる。進行方向検出処理部11には、ジャイロセンサ5からの出力信号が入力されることになり、そこにおいて、自車の進行方向が検出される。
【0018】
また、制御ユニットUは、図2に示すように、カメラ撮影範囲算出処理部12、第1ボクセル抽出処理部13、第2ボクセル抽出処理部14、画像変換処理部15、画像解析領域抽出処理部16、抽出ロジック設定部20、区画線・路肩段差検出処理部17を備えている。カメラ撮影範囲算出処理部12には、進行方向検出処理部11からの自車の進行方向データ、自車位置補正処理部10からの自車位置データ、さらには、前方監視カメラ3の撮影角度データが入力され、そこにおいて、それら入力情報に基づきカメラ撮影範囲が算出される。第1ボクセル抽出処理部13には、カメラ撮影範囲算出処理部12からのカメラ撮影範囲情報、前記ナビゲーション装置6からのボクセル三次元地図データが入力され、そこにおいて、カメラ撮影範囲内に存在するボクセルBの抽出処理が行われる。第2ボクセル抽出処理部14には、第1ボクセル抽出処理部13で抽出されたボクセル情報が入力され、その第2ボクセル抽出処理部14において、第1ボクセル抽出処理部13で抽出されたボクセルBのうちから、その各属性データにより、対象物としての区画線(白線)、路肩段差を含むボクセルBが抽出される。画像変換処理部15には、第2ボクセル抽出処理部14において抽出されたボクセル情報が入力され、その画像変換処理部15において、入力された各ボクセルBと自車位置の相対距離と方位とから、撮影画像における投影画像として、ボクセルB形状が画像変換され、その形状変換されたボクセルが撮影画像に位置合わせされる(組み込みまれる)。画像解析領域抽出処理部16には、画像変換処理部15からの情報が入力され、そこにおいて、その撮影画像の限られた範囲で後述の区画線、路肩段差検出処理を行うべく、画像解析領域が抽出される。この第1実施形態においては、撮影画像の全てではなく、区画線、路肩段差を含むものとして抽出された各ボクセルB内全域が解析領域として抽出される。抽出ロジック設定部20は、区画線又は路肩段差を検出するための抽出ロジックをそれぞれ記憶しており、抽出ロジック設定部20は、第2ボクセル抽出処理部14からの出力信号に基づき、区画線又は路肩段差を検出するための抽出ロジックのいずれかを設定して、その情報を出力する機能を発揮する。区画線・路肩段差検出処理部17には、画像解析領域抽出処理部16からの画像解析領域抽出情報と、抽出ロジック設定部20からの設定抽出ロジック情報と、が入力され、その区画線・路肩段差検出処理部17においては、前方監視カメラ3の撮影画像の中のうち、画像解析領域抽出情報に基づき抽出された領域(区画線、路肩段差が存在するとして抽出されている各ボクセルB)において、区画線・路肩段差検出処理を行うことにより、区画線、路肩段差が検出される。
【0019】
ここで、区画線・路肩段差検出処理としては、既存の方法が用いられる。例えば、区画線検出方法に関しては、特開2004−240636号公報等に示すように、撮像手段の画像から画素情報の変化量が所定値を超えるエッジ部を検出して区画線候補点を抽出し、画像の所定領域において抽出された区画線候補点の数又は分布を参照してノイズを除去することにより、所望の区画線候補点を得、その複数の区画線候補点の位置から区画線を検出するもの等が用いられる。また、路肩段差等、道路端の検出方法に関しては、例えば特開2008−3941号公報に示すように、車体側方の道路環境を撮像した画像内で、所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出し、前記画像内に所定の条件を満たす鉛直方向ラインが存在するときに、当該鉛直方向ラインの下端位置に基づいて前記候補を1つに特定し、特定した候補を道路端として認識するもの等が用いられる。
【0020】
さらに、制御ユニットUは、図2に示すように、警報出力判定処理部18、操舵制御処理部19を備えている。警報出力判定処理部18及び操舵制御処理部19には、前記区画線・路肩段差検出処理部17からの処理信号がそれぞれ入力されることになり、警報出力判定処理部18及び操舵制御処理部19は、自車と区画線又は路肩段差との間の距離が所定距離以下になると、警報、警報表示信号をナビゲーション装置6に出力し、操舵制御処理部19からは制御信号がレーンキープ制御装置20に出力される。
【0021】
次に、前記制御ユニットUの制御内容を、図4,図5に示すフローチャート及び図6〜図11に基づいて具体的に説明する。尚、図4,図5において、符号Sはステップを示す。
【0022】
S1において、前方監視カメラ3により前方走行路面が撮影され、その撮影画像が撮影画像保存処理部7に保存される。本実施形態においては、前方監視カメラ3が撮影している撮影画像21を、図6に示すように、走行路22の左右両側に区画線(白線)23が走行路22に沿ってそれぞれ延びると共に、車両1の進行方向右側区画線23の外側(図6中の右側線)において、路肩段差24がその区画線23に沿って延びている一般的なものとする。
【0023】
撮影画像21が撮影画像保存処理部7に保存されると、S2において、GPS4、ジャイロセンサ5により自車位置、自車の進行方向が検出され、次のS3においては、S2の自車位置、自車の進行方向、さらには前方監視カメラ3の撮影角度から、前方監視カメラ3のカメラ撮影可能範囲が算出される。次のS4においては、S3のカメラ撮影可能範囲に基づき、そのS3のカメラ撮影可能範囲に属するボクセルBがナビゲーション装置6(保有するボクセル三次元地図データ)から抽出される。図7において、破線領域が、前方監視カメラ3によるカメラ撮影可能範囲であり、その図7において実線で示されるボクセルBが、カメラ撮影可能範囲に属するボクセルBとして示されるものである。
【0024】
次に、S5において、前記S4において抽出された各ボクセルBの属性データがそれぞれ読み出され、その次のS6において、ボクセルBが保有する属性データが、区画線23又は路肩段差24を含むか否かが判別される。区画線・路肩段差検出処理の対象領域をその存在の高いものにだけに限定するためである。図8は、このようなカメラ撮影可能範囲に属するボクセルB全てについての判定結果を概念的に示すものであり、その図8には、ボクセルBが、属性データとして、区画線23のみが含まれるもの、路肩段差24のみが含まれるもの、区画線23及び路肩段差24の両方が含まれるもの、いずれも含まれないものかをボクセルB内のパターンの違いをもって識別した状態が示されている。
【0025】
前記S6がYESのときには、S7において、そのボクセルBは、自車位置との相対位置、方位により撮影画像に適合した形状に変換され、そのS7の形状変換されたボクセルBは、S8において、撮影画像(保存画像)に位置合わせされる。図9は、このような位置合わせを該当ボクセルB全て(S6がYESとなる全てのボクセルB)について行った結果を示しており、その図9の撮影画像においては、属性データとして、区画線23のみ、路肩段差24のみ、区画線23と路肩段差24の両方がそれぞれ含まれる各ボクセルBが投影されることになる。
【0026】
S8の処理を終えると、S9においては、そのボクセルBの属性データに基づき区画線23のみを含むボクセルBか否かが判別される。区画線23検出のための抽出ロジックを用いるか否かを判断するためである。このS9がYESのときは、そのボクセルBが属性データとして区画線23のみを含むものであり、このときには、S10において、撮影画面21内におけるそのボクセルB内で、区画線23検出のための抽出ロジックを用いて検出が実施され、次のS11において、その検出により区画線23位置が検出される。次のS12において、検出位置データとそのボクセルB中心位置データとの差が所定範囲内にあるか否かが判別され、そのS12がYESのときには、S13において、そのボクセルB内における区画線位置データは保存される。
【0027】
前記S9がNOのときには、S14において、そのボクセルBが属性データに基づき区路肩段差24のみを含むボクセルBか否かが判別される。路肩段差24検出のための抽出ロジックを用いるか否かを判断するためである。このS14がYESのときには、S15において、そのボクセルBに対して路肩段差24検出のための抽出ロジックを用いて検出が実施され、次のS16において、その検出により路肩段差24位置が検出され、その上で、前記S12に進むことになる。
【0028】
前記S14がNOのときは、そのボクセルBが区画線23及び区路肩段差24を含むものであり、このときには、S17において、そのボクセルBに対して前述の区画線23検出のための抽出ロジック及び路肩段差24検出のための抽出ロジックを用いて検出が実施され、次のS18において、その検出により路区画線23位置及び肩段差位置が検出され、その上で、前記S12に進むことになる。
【0029】
前記S13の処理を終えると、S19において、前記S4で抽出された全ボクセルBについて、前記S5〜S18までの一連の処理、判定が終了したか否かが判別される。このS19がNOのときには、未だ全てのボクセルBについて、一連の処理、判定が終了していないものがあるとして、S5に戻される。
また、前記S6がNOのときは、そのボクセルBが、カメラ撮影可能範囲内に属するものであっても、区画線23も路肩段差24も含んでいないものであり、このときには、前記S19に進むことになる。
さらに、前記S12がNOのときは、前方に車両等が存在し、走行路22の区画線23等が検出できないときであり、このときには、位置データをS13で保存せず、直接、前記S19に進むことになる。
【0030】
前記S19がYESのときは、前記S4で抽出した全ボクセルBについて、一連の処理、判定が終了したときであり、このときには、S20において、区画線23位置及び路肩段差24位置データが読み出され、次のS21において、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が算出される。具体的には、X-Y座標データにより、鳥瞰図が作成され、それにより、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が求められる。
【0031】
S21の処理を終えると、次のS22においては、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が所定距離以下か否かが判別される。そのS22がYESのときには、S23において、警報、自動操舵制御が単独又は複合的に実施され、S22がNOのときにはリターンされる。
【0032】
したがって、この第1実施形態においては、取得した撮影画像の全域について区画線23等の検出処理を行うのではなく、撮影画像21に取り込んだボクセルBのうち、区画線23等の存在が極めて高いもののみに対して検出処理を行って、区画線23等の位置を特定することから、区画線23等の検出処理負担を低減してその区画線23等の検出処理速度を高めることができると共に、その検出精度を高めることができる。
【0033】
この点に関して、図10,図11をもってより具体的に説明する。図10は、図9中の一部を示しており、その図10においては、カメラ撮影可能範囲内に存在するボクセルBa,Bb,Bc,Bdのうち、ボクセルBa,Bb,Bdに属性データとして区画線23が含まれている状態を示している。このようなときには、Ba,Bb,Bdの各ボクセルBについて区画線検出処理が行われ、ボクセルBcについては、区画線検出処理は行われない。図11は、図9中の図10に示す部分以外の部分を示すものであるが、この場合にも同様に、カメラ撮影可能範囲内に存在するボクセルBe,Bf,Bg,Bhのうち、属性データとして、区画線23が含まれるとされるBe,Bg,Bhの各ボクセルBについて区画線23の検出処理が行われ、ボクセルBfについては、区画線23の検出処理は行われない。このように、ボクセル三次元地図データを有効に利用することにより、区画線23の検出処理範囲(探索範囲)を、撮影画像21の全域について検出処理する場合に比べて大幅に減らすことができ、上述の通り、区画線23等の検出処理速度及び検出精度を高めることができる。
【0034】
図12〜図15は第2実施形態、図16は第3実施形態を示す。この各実施形態において、前記第1実施形態と同一構成要素については同一符号を付してその説明を省略する。
【0035】
図12〜図15に示す第2実施形態は、前記第1実施形態をさらに進め、属性データとして、区画線23等(区画線23を例にして示す)を含むボクセルB内全域を検出処理するのではなく、そのボクセルB内の検出範囲(探索範囲)をさらに絞った内容を示している。尚、第2実施形態に係る図14,図15のフローチャートにおいて、第1実施形態に係る図4,図5のフローチャートのステップと同一内容をなすものについては同一符号を付してその説明を省略する。
【0036】
第2実施形態も、前記第1実施形態同様、S1〜S5を経てS6に至る。そのS6(当該ボクセルBが、属性データとして区画線23又は路肩段差24を含むか否かの判別ステップ)がYESのときには、S6aにおいて、当該ボクセルBに隣接するボクセルB(当該ボクセルBの周囲のボクセルB)の属性データが読み出され、次のS6bにおいて、処理中の当該ボクセルBに隣接するボクセルB(周囲のボクセルB)における対象物の有無パターンが、該当パターンのいずれかであるかが判別される。
具体的に説明する。図12に示すように、処理中の当該ボクセルBaの周囲のボクセルBb、Bc、Bdのうち、ボクセルBb、Bdが、属性データとして、対象物(区画線23、路肩段差24)を含むか否か、また、図13に示すように、処理中の当該ボクセルBaの周囲のボクセルBb、Bc、Bdのうち、ボクセルBc、Bdが、属性データとして、対象物(区画線23、路肩段差24)を含むか否かがS6bで判別される。尚、図12,図13は、後述のS7’、S8’の形状変換がなされた状態で示されている。
【0037】
上記S6bの判別がYESとされて、図12に示す対象物有無パターンに該当すると判定されたときには、S6cにおいて、処理中の当該ボクセルBa内における区画線23等の探索領域(検出範囲)は、図12中において平行線(一点鎖線)をなす範囲確定線m1,m2内と設定され、ボクセルBa内全域は探索領域とはならない。また、S6bの判別がYESとされて、図13に示す対象物有無パターンに該当すると判定されたときには、処理中の当該ボクセルBa内における区画線23等の探索領域(検出範囲)は、図13中において平行線をなす範囲確定線m3,m4(一点鎖線)内と設定され、ボクセルBa内全域は探索範囲とはならない。
図12,図13の各ボクセルBa〜Bdの各周囲に便宜上、点t1〜t8を付して、より具体的に説明すれば、図12に示す対象物有無パターンに該当すると判定されたときには、範囲確定線m1は、ボクセルBa上の点t1とボクセルBd上の点t5を結ぶ線となり、範囲確定線m2は、ボクセルBa上の点t2とボクセルBd上の点t4を結ぶ線となり、その平行線をなす範囲確定線m1,m2の間において、ボクセルBaについて、区画線の検出が行われる。一方、図13に示す対象物有無パターンに該当すると判定されたときには、範囲確定線m3は、ボクセルBa上の点t8とボクセルBd上の点t5を結ぶ線となり、範囲確定線m4は、ボクセルBa上の点t1とボクセルBd上の点t4を結ぶ線となり、その平行線をなす範囲確定線m3,m4の間において、ボクセルBaについて、区画線の検出が行われる。つまり、範囲確定線m1,m2と範囲確定線m3,m4とは、図12,図13のパターンの違いに基づき、点t5,t4を維持しつつ、点t1,t2と点t8,t1との間で切換えられる関係となっている。
【0038】
上記S6cの処理を終えると、S7’において、S6cにおいて設定された探索領域が、自車位置との相対位置、方位により撮影画像に適合した形状に変換され、そのS7’の形状変換された探索領域は、S8’において、撮影画像(保存画像)に位置合わせされる。そしてこの後、当該ボクセルBaが、前記第1実施形態同様、属性データとして、区画線23のみを含むか否か、路肩段差24のみを含むか否か、区画線23及び路肩段差24の両方を含むか否かを判別して(S9、S14)、その該当するものにあった抽出ロジックを用いて区画線23、路肩段差24等の位置が検出される(S10’、S15’、S17’、S11,S16,S18)。この後、第1実施形態のフローチャートのS12に進み、それ以後、同様の処理がなされることになる。
【0039】
一方、前記S6bがNOと判定され、対象物有無パターンが図12,図13のいずれのパターンでもないときには、処理中のボクセルBaの探索領域が、そのボクセルBa内全域と設定され(第1実施形態と同様)、そのボクセルBa内全域(探索領域)について形状変換すべく、前記S7’に進み、以後、前述の処理と同様の処理が行われる。
【0040】
したがって、この第2実施形態においては、処理中の当該ボクセルBaの周囲のボクセルBの対象物有無パターンの判断に基づき、該当する場合には、区画線23等を含むとされるボクセルB内の探索領域がさらに絞り込まれることになり、検出処理速度及び検出精度は、第1実施形態の場合よりもさらに、高められることになる。
尚、上記第2実施形態は、車両1の進行方向左側区画線23を例にとって説明しているが、車両の進行方向右側区画線23等についても、図12,図13と対称配置関係をもって適用することができる。
【0041】
図16に示す第3実施形態も、区画線23等(区画線23を例にして示す)を含むボクセルB内全域を検出処理するのではなく、その検出範囲(探索範囲)を絞った内容を示す。
この第3実施形態においては、属性データとして区画線23を含むボクセルBが、車両進行方向に対して左右いずれの区画線23に該当するものかを把握した上で(図16の例では左側区画線23を示す)、先ず、属性データとして区画線23を含む一のボクセルBiについて、そのボクセルBi内全域について区画線検出処理が行われる。そして、そのボクセルBiにおける検出処理の結果に基づき、区画線23が入り込む隣り合うボクセルBjとの境界縦線Lh、境界横線Lbのどれに交差するかが判断される。図16においては、ボクセルBiからBjに入り込む区画線23が境界縦線Lhに対して交差することから、このときには、境界縦線Lhと所定幅の区画線23の下側線との交点P1よりも上側部分の領域Bjs(区画線23の進行方向側)が、ボクセルBjの検出範囲(探索領域)となり、その検出範囲において、ボクセルBj内の区画線検出処理が行われる。同様に、ボクセルBjの検出処理結果を得て、区画線23が、図16に示すようにボクセルBlの境界横線Lbに交差する場合には、区画線23の左側線と境界横線Lbとの交点P2よりも右側部分の領域Bls(区画線23の進行方向側)が、ボクセルBlの検出範囲(探索領域)となる。ボクセルBmについては、前述のボクセルBjと同様の処理により、ボクセルBm内全域が検出範囲となる。
【0042】
したがって、属性データとして区画線23等を含むボクセルB内全域について区画線23等の検出処理を行うのではなく、さらにその検出範囲が絞られることになり、検出処理速度及び検出精度は、一層、高められることになる。
上記例では、区画線23が、車両の進行方向に対して左側線をもって示したが、区画線23が、車両の進行方向に対して右側線の場合においては、ボクセルBの境界横線Lbと区画線23とが交差するときには、区画線23の右側線とボクセルBの境界横線Lbとの交点よりも左側部分領域が、区画線23が入り込むボクセルBの検出範囲(探索領域)となるが、その点を除き、他の処理は同様のものとなる。また、この第3実施形態が区画線23に限らず、路肩段差24にも適用あることは言うまでもない。
【符号の説明】
【0043】
1 車両
2 車両用運転支援装置
3 前方監視カメラ(撮像手段)
4 GPS(車両位置検出手段)
5 ジャイロセンサ(車両進行方向検出手段)
6 ナビゲーション装置(ボクセル三次元地図データ記憶手段)
12 カメラ撮影範囲算出処理部
13 第1ボクセル抽出処理部
14 第2ボクセル抽出処理部
16 画像解析領域抽出処理部
17 区画線・路肩段差検出処理部
P1,P2 交点
U 制御ユニット
【技術分野】
【0001】
本発明は、車両用運転支援装置に関する。
【背景技術】
【0002】
車両用運転支援装置としては、特許文献1に示すように、撮像手段により取得された画像の全画像にハフ変換を行って、走行路上の白線(対象物)を検出するものがある。また、特許文献2には、レーザとカメラとにより取得された画像に基づいて、走行路上の白線を検出するものが示されている。このように、従来、地理的な対象物としての白線を検出するに際しては、撮影画像の全域について、探索が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−85999号公報
【特許文献2】特開2004−98792号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記のように、撮影画像の全域から対象物を探索する場合には、処理負担が大きく、検出処理に時間がかかると共に、検出精度が悪いという問題がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、その技術的課題は、地理的な対象物の検出に関して、その処理速度と検出精度とを向上させることができる車両用運転支援装置を提供することにある。
【課題を解決するための手段】
【0006】
前記技術的課題を達成するために本発明(請求項1に係る発明)においては、
三次元空間を三次元地図データとして所定の大きさのボクセルに分割し、その各ボクセルの三次元位置座標と、その各ボクセルに含まれる対象物種別の属性データと、を記憶するボクセル地図データ記憶手段と、
車両位置を検出する車両位置検出手段と、
車両進行方向を検出する車両進行方向検出手段と、
車両周囲の対象物を撮影する撮像手段と、
前記車両位置検出手段が検出する車両位置と、前記車両進行方向検出手段が検出する車両進行方向とに基づいて、前記撮像手段の撮影可能範囲を算出して該撮影可能範囲に属するボクセルを前記ボクセル地図データ記憶手段から抽出すると共に、該撮影可能範囲に属する各ボクセルに含まれる属性データに基づき対象物を含むボクセルを抽出するボクセル抽出手段と、
前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセルを、前記撮像手段が撮影した撮影画像に組み込んだ上で、その組み込み画像において、該属性データとして対象物を含むボクセルに対して該対象物の検出処理を行う対象物位置検出手段と、
が備えられている、
ことを特徴とする車両用運転支援装置とした構成とされている。この請求項1の好ましい態様としては、請求項2以下の記載の通りとなる。
【発明の効果】
【0007】
請求項1の発明によれば、対象物の位置を検出するに際して、地物の属性を有するボクセルの三次元地図情報を、撮像手段が撮影した撮影画像に組み込んで、撮影画像の全域ではなく、属性データとして対象物を含むボクセルのみに対して対象物の検出処理を行うことができ、探索領域(検出範囲)を少なくすることができる。このため、対象物の検出処理速度及び検出精度の向上を図ることができる。
【0008】
請求項2の発明によれば、対象物位置検出手段が、対象物の種類に応じた該対象物の抽出ロジックを複数備えて、該各抽出ロジックに基づいて検出機能を発揮するように設定されていると共に、対象物の種類に基づき、対象物位置検出手段が使用すべき抽出ロジックを選択して、選択した抽出ロジックを対象物位置検出手段の使用すべき抽出ロジックとして設定する抽出ロジック設定手段が備えられていることから、検出処理速度及び検出精度を高めつつ、各種対象物の位置を的確に検出できる。
【0009】
請求項3の発明によれば、対象物位置検出手段が、前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセル内を所定範囲に限って探索(検出)するように設定されていることから、探索範囲をさらに狭めることができ、検出処理速度及び検出精度を、一層向上させることができる。
【0010】
請求項4の発明によれば、対象物位置検出手段が、前記各ボクセルについて対象物の検出処理を行うに際して、該各ボクセルの周囲におけるボクセルが形成する属性データとしての対象物の有無パターンが所定パターンであるときには、予め設定された所定方向で且つ所定幅の領域の範囲を探索範囲とするように設定されていることから、請求項3の作用効果を具体的に実現できる。
【0011】
請求項5の発明によれば、対象物位置検出手段が、検出処理を終えたボクセルに隣接する隣接ボクセルについて対象物の検出処理を行うに際して、該検出処理を終えたボクセルの検出結果に基づく対象物と該隣接ボクセルの境界線との交点を基準に、対象物の進行方向側を探索範囲とするように設定されていることから、請求項3の作用効果を具体的に実現できる。
【0012】
請求項6の発明によれば、対象物が、区画線又は路肩段差であることから、対象物としての区画線又は路肩段差の検出処理速度及び検出精度の向上を図ることができる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係る車両用支援運転装置を搭載した車両を平面的に示す図。
【図2】実施形態に係る車両用支援運転装置を示す構成図。
【図3】ボクセルを概念的に説明ずる説明図。
【図4】第1実施形態に係る制御例を示すフローチャート。
【図5】図4の続きを示すフローチャート。
【図6】前方監視カメラが撮影する撮影画像の一例を示す図。
【図7】カメラ撮影可能範囲に属するボクセルの存在を概念的に示す図。
【図8】カメラ撮影可能範囲に属するボクセルのうち、区画線(データ)のみを含むボクセルB、路肩段差(データ)のみを含むボクセル、区画線及び路肩段差の両方(データ)を含むボクセルBが抽出された状態を概念的に示す図。
【図9】区画線のみを含むボクセル、路肩段差のみを含むボクセル、区画線及び路肩段差の両方を含むボクセル等を画像変換して、撮影画像に組み込んだ状態を示す図。
【図10】第1実施形態を一部分のボクセルを用いて説明する説明図。
【図11】第1実施形態を他部分のボクセルを用いて説明する説明図。
【図12】第2実施形態を一部分のボクセル用いて説明する説明図。
【図13】第2実施形態を他部分のボクセル用いて説明する説明図。
【図14】第2実施形態に係る制御例を示すフローチャート。
【図15】図14の続きを示すフローチャート。
【図16】第3実施形態に係る車両用支援運転装置を説明する説明図。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について、図面に基づいて説明する。
図1〜図10は第1実施形態を示す。この第1実施形態を示す図1において、符号1は車両(自車)で、この車両1には、地理的な対象物としての区画線(白線)、路肩段差等を検出する実施形態に係る車両用運転支援装置2が搭載されている。この車両用運転支援装置2は、前方を監視する前方監視カメラ(ステレオカメラ)3と、自車位置を検出する車両(自車)位置検出手段としてのGPS4と、車両(自車)進行方向を検出する車両進行方向検出手段としてのジャイロセンサ5と、ボクセル三次元地図データ記憶手段としてのナビゲーション装置6と、それらからの各種情報を入力情報として、区画線(白線)・路肩段差等の地理的な対象物の検出処理を実行する制御ユニットU(図2参照)と、が備えられている。
【0015】
前記車両用運転支援装置2の構成要素のうち、三次元地図データ記憶手段としてのナビゲーション装置6は、図3に示すボクセルBを用いて、三次元地図データを記憶している。ボクセルBは、三次元空間を所定の大きさ、例えば一辺1mの立方体に分割したものであり、その各ボクセルBには、その三次元位置座標、各ボクセルBに含まれる対象物種別の属性データ、例えば、区画線、路肩段差等が含まれている。図3中、○印は各ボクセルBの中心位置を示す。
【0016】
前記制御ユニットUは、前記区画線・路肩段差等の検出処理を行うべく、図2に示す構成を有しており、その検出処理に基づき、表示・警報出力装置をも兼ねる前記ナビゲーション装置6、レーンキープ制御装置(例えば操舵装置)20に出力信号を出力することになっている。
【0017】
制御ユニットUは、図2に示すように、撮影画像保存処理部7、自車位置検出処理部8、マップマッチング処理部9、自車位置補正処理部10、進行方向検出処理部11を備えている。撮影画像保存処理部7には、前方監視カメラ3により撮影された撮影画像情報が入力されることになり、そこにおいて、撮影画像情報が保存される。自車位置検出処理部8には、前記GPS4からの出力信号が入力されることになり、そこにおいて、GPS4からの出力信号に基づき自車位置が検出される。そして、自車位置は、マップマッチング処理部9において、ナビゲーション装置6から読み出した地図上において所定の(本来の)道路から外れている場合には、マップマッチング処理部9から自車位置補正処理部10にその情報が出力され、そこにおいて、自車位置は所定の道路上に修正されることになる。進行方向検出処理部11には、ジャイロセンサ5からの出力信号が入力されることになり、そこにおいて、自車の進行方向が検出される。
【0018】
また、制御ユニットUは、図2に示すように、カメラ撮影範囲算出処理部12、第1ボクセル抽出処理部13、第2ボクセル抽出処理部14、画像変換処理部15、画像解析領域抽出処理部16、抽出ロジック設定部20、区画線・路肩段差検出処理部17を備えている。カメラ撮影範囲算出処理部12には、進行方向検出処理部11からの自車の進行方向データ、自車位置補正処理部10からの自車位置データ、さらには、前方監視カメラ3の撮影角度データが入力され、そこにおいて、それら入力情報に基づきカメラ撮影範囲が算出される。第1ボクセル抽出処理部13には、カメラ撮影範囲算出処理部12からのカメラ撮影範囲情報、前記ナビゲーション装置6からのボクセル三次元地図データが入力され、そこにおいて、カメラ撮影範囲内に存在するボクセルBの抽出処理が行われる。第2ボクセル抽出処理部14には、第1ボクセル抽出処理部13で抽出されたボクセル情報が入力され、その第2ボクセル抽出処理部14において、第1ボクセル抽出処理部13で抽出されたボクセルBのうちから、その各属性データにより、対象物としての区画線(白線)、路肩段差を含むボクセルBが抽出される。画像変換処理部15には、第2ボクセル抽出処理部14において抽出されたボクセル情報が入力され、その画像変換処理部15において、入力された各ボクセルBと自車位置の相対距離と方位とから、撮影画像における投影画像として、ボクセルB形状が画像変換され、その形状変換されたボクセルが撮影画像に位置合わせされる(組み込みまれる)。画像解析領域抽出処理部16には、画像変換処理部15からの情報が入力され、そこにおいて、その撮影画像の限られた範囲で後述の区画線、路肩段差検出処理を行うべく、画像解析領域が抽出される。この第1実施形態においては、撮影画像の全てではなく、区画線、路肩段差を含むものとして抽出された各ボクセルB内全域が解析領域として抽出される。抽出ロジック設定部20は、区画線又は路肩段差を検出するための抽出ロジックをそれぞれ記憶しており、抽出ロジック設定部20は、第2ボクセル抽出処理部14からの出力信号に基づき、区画線又は路肩段差を検出するための抽出ロジックのいずれかを設定して、その情報を出力する機能を発揮する。区画線・路肩段差検出処理部17には、画像解析領域抽出処理部16からの画像解析領域抽出情報と、抽出ロジック設定部20からの設定抽出ロジック情報と、が入力され、その区画線・路肩段差検出処理部17においては、前方監視カメラ3の撮影画像の中のうち、画像解析領域抽出情報に基づき抽出された領域(区画線、路肩段差が存在するとして抽出されている各ボクセルB)において、区画線・路肩段差検出処理を行うことにより、区画線、路肩段差が検出される。
【0019】
ここで、区画線・路肩段差検出処理としては、既存の方法が用いられる。例えば、区画線検出方法に関しては、特開2004−240636号公報等に示すように、撮像手段の画像から画素情報の変化量が所定値を超えるエッジ部を検出して区画線候補点を抽出し、画像の所定領域において抽出された区画線候補点の数又は分布を参照してノイズを除去することにより、所望の区画線候補点を得、その複数の区画線候補点の位置から区画線を検出するもの等が用いられる。また、路肩段差等、道路端の検出方法に関しては、例えば特開2008−3941号公報に示すように、車体側方の道路環境を撮像した画像内で、所定の条件を満たす全てのレーン方向ラインを道路端の候補として選出し、前記画像内に所定の条件を満たす鉛直方向ラインが存在するときに、当該鉛直方向ラインの下端位置に基づいて前記候補を1つに特定し、特定した候補を道路端として認識するもの等が用いられる。
【0020】
さらに、制御ユニットUは、図2に示すように、警報出力判定処理部18、操舵制御処理部19を備えている。警報出力判定処理部18及び操舵制御処理部19には、前記区画線・路肩段差検出処理部17からの処理信号がそれぞれ入力されることになり、警報出力判定処理部18及び操舵制御処理部19は、自車と区画線又は路肩段差との間の距離が所定距離以下になると、警報、警報表示信号をナビゲーション装置6に出力し、操舵制御処理部19からは制御信号がレーンキープ制御装置20に出力される。
【0021】
次に、前記制御ユニットUの制御内容を、図4,図5に示すフローチャート及び図6〜図11に基づいて具体的に説明する。尚、図4,図5において、符号Sはステップを示す。
【0022】
S1において、前方監視カメラ3により前方走行路面が撮影され、その撮影画像が撮影画像保存処理部7に保存される。本実施形態においては、前方監視カメラ3が撮影している撮影画像21を、図6に示すように、走行路22の左右両側に区画線(白線)23が走行路22に沿ってそれぞれ延びると共に、車両1の進行方向右側区画線23の外側(図6中の右側線)において、路肩段差24がその区画線23に沿って延びている一般的なものとする。
【0023】
撮影画像21が撮影画像保存処理部7に保存されると、S2において、GPS4、ジャイロセンサ5により自車位置、自車の進行方向が検出され、次のS3においては、S2の自車位置、自車の進行方向、さらには前方監視カメラ3の撮影角度から、前方監視カメラ3のカメラ撮影可能範囲が算出される。次のS4においては、S3のカメラ撮影可能範囲に基づき、そのS3のカメラ撮影可能範囲に属するボクセルBがナビゲーション装置6(保有するボクセル三次元地図データ)から抽出される。図7において、破線領域が、前方監視カメラ3によるカメラ撮影可能範囲であり、その図7において実線で示されるボクセルBが、カメラ撮影可能範囲に属するボクセルBとして示されるものである。
【0024】
次に、S5において、前記S4において抽出された各ボクセルBの属性データがそれぞれ読み出され、その次のS6において、ボクセルBが保有する属性データが、区画線23又は路肩段差24を含むか否かが判別される。区画線・路肩段差検出処理の対象領域をその存在の高いものにだけに限定するためである。図8は、このようなカメラ撮影可能範囲に属するボクセルB全てについての判定結果を概念的に示すものであり、その図8には、ボクセルBが、属性データとして、区画線23のみが含まれるもの、路肩段差24のみが含まれるもの、区画線23及び路肩段差24の両方が含まれるもの、いずれも含まれないものかをボクセルB内のパターンの違いをもって識別した状態が示されている。
【0025】
前記S6がYESのときには、S7において、そのボクセルBは、自車位置との相対位置、方位により撮影画像に適合した形状に変換され、そのS7の形状変換されたボクセルBは、S8において、撮影画像(保存画像)に位置合わせされる。図9は、このような位置合わせを該当ボクセルB全て(S6がYESとなる全てのボクセルB)について行った結果を示しており、その図9の撮影画像においては、属性データとして、区画線23のみ、路肩段差24のみ、区画線23と路肩段差24の両方がそれぞれ含まれる各ボクセルBが投影されることになる。
【0026】
S8の処理を終えると、S9においては、そのボクセルBの属性データに基づき区画線23のみを含むボクセルBか否かが判別される。区画線23検出のための抽出ロジックを用いるか否かを判断するためである。このS9がYESのときは、そのボクセルBが属性データとして区画線23のみを含むものであり、このときには、S10において、撮影画面21内におけるそのボクセルB内で、区画線23検出のための抽出ロジックを用いて検出が実施され、次のS11において、その検出により区画線23位置が検出される。次のS12において、検出位置データとそのボクセルB中心位置データとの差が所定範囲内にあるか否かが判別され、そのS12がYESのときには、S13において、そのボクセルB内における区画線位置データは保存される。
【0027】
前記S9がNOのときには、S14において、そのボクセルBが属性データに基づき区路肩段差24のみを含むボクセルBか否かが判別される。路肩段差24検出のための抽出ロジックを用いるか否かを判断するためである。このS14がYESのときには、S15において、そのボクセルBに対して路肩段差24検出のための抽出ロジックを用いて検出が実施され、次のS16において、その検出により路肩段差24位置が検出され、その上で、前記S12に進むことになる。
【0028】
前記S14がNOのときは、そのボクセルBが区画線23及び区路肩段差24を含むものであり、このときには、S17において、そのボクセルBに対して前述の区画線23検出のための抽出ロジック及び路肩段差24検出のための抽出ロジックを用いて検出が実施され、次のS18において、その検出により路区画線23位置及び肩段差位置が検出され、その上で、前記S12に進むことになる。
【0029】
前記S13の処理を終えると、S19において、前記S4で抽出された全ボクセルBについて、前記S5〜S18までの一連の処理、判定が終了したか否かが判別される。このS19がNOのときには、未だ全てのボクセルBについて、一連の処理、判定が終了していないものがあるとして、S5に戻される。
また、前記S6がNOのときは、そのボクセルBが、カメラ撮影可能範囲内に属するものであっても、区画線23も路肩段差24も含んでいないものであり、このときには、前記S19に進むことになる。
さらに、前記S12がNOのときは、前方に車両等が存在し、走行路22の区画線23等が検出できないときであり、このときには、位置データをS13で保存せず、直接、前記S19に進むことになる。
【0030】
前記S19がYESのときは、前記S4で抽出した全ボクセルBについて、一連の処理、判定が終了したときであり、このときには、S20において、区画線23位置及び路肩段差24位置データが読み出され、次のS21において、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が算出される。具体的には、X-Y座標データにより、鳥瞰図が作成され、それにより、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が求められる。
【0031】
S21の処理を終えると、次のS22においては、自車位置と、区画線23又は路肩段差24との間の車幅方向距離が所定距離以下か否かが判別される。そのS22がYESのときには、S23において、警報、自動操舵制御が単独又は複合的に実施され、S22がNOのときにはリターンされる。
【0032】
したがって、この第1実施形態においては、取得した撮影画像の全域について区画線23等の検出処理を行うのではなく、撮影画像21に取り込んだボクセルBのうち、区画線23等の存在が極めて高いもののみに対して検出処理を行って、区画線23等の位置を特定することから、区画線23等の検出処理負担を低減してその区画線23等の検出処理速度を高めることができると共に、その検出精度を高めることができる。
【0033】
この点に関して、図10,図11をもってより具体的に説明する。図10は、図9中の一部を示しており、その図10においては、カメラ撮影可能範囲内に存在するボクセルBa,Bb,Bc,Bdのうち、ボクセルBa,Bb,Bdに属性データとして区画線23が含まれている状態を示している。このようなときには、Ba,Bb,Bdの各ボクセルBについて区画線検出処理が行われ、ボクセルBcについては、区画線検出処理は行われない。図11は、図9中の図10に示す部分以外の部分を示すものであるが、この場合にも同様に、カメラ撮影可能範囲内に存在するボクセルBe,Bf,Bg,Bhのうち、属性データとして、区画線23が含まれるとされるBe,Bg,Bhの各ボクセルBについて区画線23の検出処理が行われ、ボクセルBfについては、区画線23の検出処理は行われない。このように、ボクセル三次元地図データを有効に利用することにより、区画線23の検出処理範囲(探索範囲)を、撮影画像21の全域について検出処理する場合に比べて大幅に減らすことができ、上述の通り、区画線23等の検出処理速度及び検出精度を高めることができる。
【0034】
図12〜図15は第2実施形態、図16は第3実施形態を示す。この各実施形態において、前記第1実施形態と同一構成要素については同一符号を付してその説明を省略する。
【0035】
図12〜図15に示す第2実施形態は、前記第1実施形態をさらに進め、属性データとして、区画線23等(区画線23を例にして示す)を含むボクセルB内全域を検出処理するのではなく、そのボクセルB内の検出範囲(探索範囲)をさらに絞った内容を示している。尚、第2実施形態に係る図14,図15のフローチャートにおいて、第1実施形態に係る図4,図5のフローチャートのステップと同一内容をなすものについては同一符号を付してその説明を省略する。
【0036】
第2実施形態も、前記第1実施形態同様、S1〜S5を経てS6に至る。そのS6(当該ボクセルBが、属性データとして区画線23又は路肩段差24を含むか否かの判別ステップ)がYESのときには、S6aにおいて、当該ボクセルBに隣接するボクセルB(当該ボクセルBの周囲のボクセルB)の属性データが読み出され、次のS6bにおいて、処理中の当該ボクセルBに隣接するボクセルB(周囲のボクセルB)における対象物の有無パターンが、該当パターンのいずれかであるかが判別される。
具体的に説明する。図12に示すように、処理中の当該ボクセルBaの周囲のボクセルBb、Bc、Bdのうち、ボクセルBb、Bdが、属性データとして、対象物(区画線23、路肩段差24)を含むか否か、また、図13に示すように、処理中の当該ボクセルBaの周囲のボクセルBb、Bc、Bdのうち、ボクセルBc、Bdが、属性データとして、対象物(区画線23、路肩段差24)を含むか否かがS6bで判別される。尚、図12,図13は、後述のS7’、S8’の形状変換がなされた状態で示されている。
【0037】
上記S6bの判別がYESとされて、図12に示す対象物有無パターンに該当すると判定されたときには、S6cにおいて、処理中の当該ボクセルBa内における区画線23等の探索領域(検出範囲)は、図12中において平行線(一点鎖線)をなす範囲確定線m1,m2内と設定され、ボクセルBa内全域は探索領域とはならない。また、S6bの判別がYESとされて、図13に示す対象物有無パターンに該当すると判定されたときには、処理中の当該ボクセルBa内における区画線23等の探索領域(検出範囲)は、図13中において平行線をなす範囲確定線m3,m4(一点鎖線)内と設定され、ボクセルBa内全域は探索範囲とはならない。
図12,図13の各ボクセルBa〜Bdの各周囲に便宜上、点t1〜t8を付して、より具体的に説明すれば、図12に示す対象物有無パターンに該当すると判定されたときには、範囲確定線m1は、ボクセルBa上の点t1とボクセルBd上の点t5を結ぶ線となり、範囲確定線m2は、ボクセルBa上の点t2とボクセルBd上の点t4を結ぶ線となり、その平行線をなす範囲確定線m1,m2の間において、ボクセルBaについて、区画線の検出が行われる。一方、図13に示す対象物有無パターンに該当すると判定されたときには、範囲確定線m3は、ボクセルBa上の点t8とボクセルBd上の点t5を結ぶ線となり、範囲確定線m4は、ボクセルBa上の点t1とボクセルBd上の点t4を結ぶ線となり、その平行線をなす範囲確定線m3,m4の間において、ボクセルBaについて、区画線の検出が行われる。つまり、範囲確定線m1,m2と範囲確定線m3,m4とは、図12,図13のパターンの違いに基づき、点t5,t4を維持しつつ、点t1,t2と点t8,t1との間で切換えられる関係となっている。
【0038】
上記S6cの処理を終えると、S7’において、S6cにおいて設定された探索領域が、自車位置との相対位置、方位により撮影画像に適合した形状に変換され、そのS7’の形状変換された探索領域は、S8’において、撮影画像(保存画像)に位置合わせされる。そしてこの後、当該ボクセルBaが、前記第1実施形態同様、属性データとして、区画線23のみを含むか否か、路肩段差24のみを含むか否か、区画線23及び路肩段差24の両方を含むか否かを判別して(S9、S14)、その該当するものにあった抽出ロジックを用いて区画線23、路肩段差24等の位置が検出される(S10’、S15’、S17’、S11,S16,S18)。この後、第1実施形態のフローチャートのS12に進み、それ以後、同様の処理がなされることになる。
【0039】
一方、前記S6bがNOと判定され、対象物有無パターンが図12,図13のいずれのパターンでもないときには、処理中のボクセルBaの探索領域が、そのボクセルBa内全域と設定され(第1実施形態と同様)、そのボクセルBa内全域(探索領域)について形状変換すべく、前記S7’に進み、以後、前述の処理と同様の処理が行われる。
【0040】
したがって、この第2実施形態においては、処理中の当該ボクセルBaの周囲のボクセルBの対象物有無パターンの判断に基づき、該当する場合には、区画線23等を含むとされるボクセルB内の探索領域がさらに絞り込まれることになり、検出処理速度及び検出精度は、第1実施形態の場合よりもさらに、高められることになる。
尚、上記第2実施形態は、車両1の進行方向左側区画線23を例にとって説明しているが、車両の進行方向右側区画線23等についても、図12,図13と対称配置関係をもって適用することができる。
【0041】
図16に示す第3実施形態も、区画線23等(区画線23を例にして示す)を含むボクセルB内全域を検出処理するのではなく、その検出範囲(探索範囲)を絞った内容を示す。
この第3実施形態においては、属性データとして区画線23を含むボクセルBが、車両進行方向に対して左右いずれの区画線23に該当するものかを把握した上で(図16の例では左側区画線23を示す)、先ず、属性データとして区画線23を含む一のボクセルBiについて、そのボクセルBi内全域について区画線検出処理が行われる。そして、そのボクセルBiにおける検出処理の結果に基づき、区画線23が入り込む隣り合うボクセルBjとの境界縦線Lh、境界横線Lbのどれに交差するかが判断される。図16においては、ボクセルBiからBjに入り込む区画線23が境界縦線Lhに対して交差することから、このときには、境界縦線Lhと所定幅の区画線23の下側線との交点P1よりも上側部分の領域Bjs(区画線23の進行方向側)が、ボクセルBjの検出範囲(探索領域)となり、その検出範囲において、ボクセルBj内の区画線検出処理が行われる。同様に、ボクセルBjの検出処理結果を得て、区画線23が、図16に示すようにボクセルBlの境界横線Lbに交差する場合には、区画線23の左側線と境界横線Lbとの交点P2よりも右側部分の領域Bls(区画線23の進行方向側)が、ボクセルBlの検出範囲(探索領域)となる。ボクセルBmについては、前述のボクセルBjと同様の処理により、ボクセルBm内全域が検出範囲となる。
【0042】
したがって、属性データとして区画線23等を含むボクセルB内全域について区画線23等の検出処理を行うのではなく、さらにその検出範囲が絞られることになり、検出処理速度及び検出精度は、一層、高められることになる。
上記例では、区画線23が、車両の進行方向に対して左側線をもって示したが、区画線23が、車両の進行方向に対して右側線の場合においては、ボクセルBの境界横線Lbと区画線23とが交差するときには、区画線23の右側線とボクセルBの境界横線Lbとの交点よりも左側部分領域が、区画線23が入り込むボクセルBの検出範囲(探索領域)となるが、その点を除き、他の処理は同様のものとなる。また、この第3実施形態が区画線23に限らず、路肩段差24にも適用あることは言うまでもない。
【符号の説明】
【0043】
1 車両
2 車両用運転支援装置
3 前方監視カメラ(撮像手段)
4 GPS(車両位置検出手段)
5 ジャイロセンサ(車両進行方向検出手段)
6 ナビゲーション装置(ボクセル三次元地図データ記憶手段)
12 カメラ撮影範囲算出処理部
13 第1ボクセル抽出処理部
14 第2ボクセル抽出処理部
16 画像解析領域抽出処理部
17 区画線・路肩段差検出処理部
P1,P2 交点
U 制御ユニット
【特許請求の範囲】
【請求項1】
三次元空間を三次元地図データとして所定の大きさのボクセルに分割し、その各ボクセルの三次元位置座標と、その各ボクセルに含まれる対象物種別の属性データと、を記憶するボクセル地図データ記憶手段と、
車両位置を検出する車両位置検出手段と、
車両進行方向を検出する車両進行方向検出手段と、
車両周囲の対象物を撮影する撮像手段と、
前記車両位置検出手段が検出する車両位置と、前記車両進行方向検出手段が検出する車両進行方向とに基づいて、前記撮像手段の撮影可能範囲を算出して該撮影可能範囲に属するボクセルを前記ボクセル地図データ記憶手段から抽出すると共に、該撮影可能範囲に属する各ボクセルに含まれる属性データに基づき対象物を含むボクセルを抽出するボクセル抽出手段と、
前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセルを、前記撮像手段が撮影した撮影画像に組み込んだ上で、その組み込み画像において、該属性データとして対象物を含むボクセルに対して該対象物の検出処理を行う対象物位置検出手段と、
が備えられている、
ことを特徴とする車両用運転支援装置。
【請求項2】
請求項1において、
前記対象物位置検出手段が、前記対象物の種類に応じた該対象物の抽出ロジックを複数備えて、該各抽出ロジックに基づいて検出機能を発揮するように設定されていると共に、
前記対象物の種類に基づき、前記対象物位置検出手段が使用すべき抽出ロジックを選択して、該選択した抽出ロジックを該対象物位置検出手段の使用すべき抽出ロジックとして設定する抽出ロジック設定手段が備えられている、
ことを特徴とする車両用運転支援装置。
【請求項3】
請求項1において、
前記対象物位置検出手段が、前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセル内を所定範囲に限って探索するように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項4】
請求項3において、
前記対象物位置検出手段が、前記各ボクセルについて対象物の検出処理を行うに際して、該各ボクセルの周囲におけるボクセルが形成する属性データとしての対象物の有無パターンが所定パターンであるときには、予め設定された所定方向で且つ所定幅の領域の範囲を探索範囲とするように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項5】
請求項3において、
前記対象物位置検出手段が、検出処理を終えたボクセルに隣接する隣接ボクセルについて対象物の検出処理を行うに際して、該検出処理を終えたボクセルの検出結果に基づく対象物と該隣接ボクセルの境界線との交点を基準に、対象物の進行方向側を探索範囲とするように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項6】
請求項1において、
前記対象物が、区画線又は路肩段差である、
ことを特徴とする車両用運転支援装置。
【請求項1】
三次元空間を三次元地図データとして所定の大きさのボクセルに分割し、その各ボクセルの三次元位置座標と、その各ボクセルに含まれる対象物種別の属性データと、を記憶するボクセル地図データ記憶手段と、
車両位置を検出する車両位置検出手段と、
車両進行方向を検出する車両進行方向検出手段と、
車両周囲の対象物を撮影する撮像手段と、
前記車両位置検出手段が検出する車両位置と、前記車両進行方向検出手段が検出する車両進行方向とに基づいて、前記撮像手段の撮影可能範囲を算出して該撮影可能範囲に属するボクセルを前記ボクセル地図データ記憶手段から抽出すると共に、該撮影可能範囲に属する各ボクセルに含まれる属性データに基づき対象物を含むボクセルを抽出するボクセル抽出手段と、
前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセルを、前記撮像手段が撮影した撮影画像に組み込んだ上で、その組み込み画像において、該属性データとして対象物を含むボクセルに対して該対象物の検出処理を行う対象物位置検出手段と、
が備えられている、
ことを特徴とする車両用運転支援装置。
【請求項2】
請求項1において、
前記対象物位置検出手段が、前記対象物の種類に応じた該対象物の抽出ロジックを複数備えて、該各抽出ロジックに基づいて検出機能を発揮するように設定されていると共に、
前記対象物の種類に基づき、前記対象物位置検出手段が使用すべき抽出ロジックを選択して、該選択した抽出ロジックを該対象物位置検出手段の使用すべき抽出ロジックとして設定する抽出ロジック設定手段が備えられている、
ことを特徴とする車両用運転支援装置。
【請求項3】
請求項1において、
前記対象物位置検出手段が、前記ボクセル抽出手段が抽出した属性データとして対象物を含むボクセル内を所定範囲に限って探索するように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項4】
請求項3において、
前記対象物位置検出手段が、前記各ボクセルについて対象物の検出処理を行うに際して、該各ボクセルの周囲におけるボクセルが形成する属性データとしての対象物の有無パターンが所定パターンであるときには、予め設定された所定方向で且つ所定幅の領域の範囲を探索範囲とするように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項5】
請求項3において、
前記対象物位置検出手段が、検出処理を終えたボクセルに隣接する隣接ボクセルについて対象物の検出処理を行うに際して、該検出処理を終えたボクセルの検出結果に基づく対象物と該隣接ボクセルの境界線との交点を基準に、対象物の進行方向側を探索範囲とするように設定されている、
ことを特徴とする車両用運転支援装置。
【請求項6】
請求項1において、
前記対象物が、区画線又は路肩段差である、
ことを特徴とする車両用運転支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−129036(P2011−129036A)
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願番号】特願2009−289127(P2009−289127)
【出願日】平成21年12月21日(2009.12.21)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
【公開日】平成23年6月30日(2011.6.30)
【国際特許分類】
【出願日】平成21年12月21日(2009.12.21)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
[ Back to top ]