車両認識方法及び車載装置
【課題】周辺の車両に関する情報を取得する処理を軽減することができる車両認識方法及び車載装置を提供する。
【解決手段】運転支援装置1のCPU2は、車両に設けられた周辺監視カメラ20から周辺撮像データを取得する。また、画像プロセッサ10は、周辺撮像データ内で、隣接車線領域を設定し、隣接車線領域内に認識部分枠を設定する。さらに、画像プロセッサ10は、認識部分枠内の輝度データと、後方監視カメラ21により撮像された後方撮像データのサンプル枠内の輝度データとを比較し、路面上の物体を検出する。そして、検出物ありと判断された認識部分枠とその周辺に対し、エッジ検出を行って、他車両を認識する。
【解決手段】運転支援装置1のCPU2は、車両に設けられた周辺監視カメラ20から周辺撮像データを取得する。また、画像プロセッサ10は、周辺撮像データ内で、隣接車線領域を設定し、隣接車線領域内に認識部分枠を設定する。さらに、画像プロセッサ10は、認識部分枠内の輝度データと、後方監視カメラ21により撮像された後方撮像データのサンプル枠内の輝度データとを比較し、路面上の物体を検出する。そして、検出物ありと判断された認識部分枠とその周辺に対し、エッジ検出を行って、他車両を認識する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両認識方法及び車載装置に関する。
【背景技術】
【0002】
近年、渋滞等の交通問題を解決し、自動車の円滑な走行を図るために、高度道路交通システム(Intelligent Transport Systems)の開発が進められている。このシステムでは
、例えば、車々間通信や路車間通信、又は自動車が具備する各種装置等により、所定距離内の各自動車の情報を収集し、各自動車に対して周辺道路状況に応じた操作支援を行う。
【0003】
自車両周辺の車両に関する情報(周辺車両データ)を取得する方法として、例えば、車々間通信又は路車間通信によって取得する方法(例えば特許文献1参照)、車両に取付けられたカメラを用いる方法が提案されている。このうち、カメラによる画像データに基づき、周辺車両データを取得する方法は、車々間通信可能な他車両の存在、路車間通信可能な環境等の条件によらない点で有利である。
【特許文献1】特開2005−84790号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところが、カメラによって撮像された画像データを用いて周辺車両データを取得する場合には、画像処理を行うため処理量が多くなる問題がある。このため、周辺車両データを取得する処理の軽減化が要求されている。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、周辺の車両に関する情報を取得する処理を軽減することができる車両認識方法及び車載装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、自車両の周辺の他車両を認識する車両認識方法において、前記自車両に設けられた撮像装置から、前記自車両周辺を撮像した画像データを取得し、その画像データ内で他車両を認識するための認識対象領域を設定するとともに、前記認識対象領域内で路面上の物体の有無を判断する簡易認識処理を行い、前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行うことを要旨とする。
【0007】
請求項2に記載の発明は、車両に搭載された車載装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データ内で、他車両を認識するための認識対象領域を設定するエリア設定手段と、前記認識対象領域内で、路面上の物体を検出する簡易認識手段と、前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行う車両認識手段とを備えたことを要旨とする。
【0008】
請求項3に記載の発明は、請求項2に記載の車載装置において、前記エリア設定手段は、前記画像データ内に、各認識部分枠を間隔を介して配置することを要旨とする。
請求項4に記載の発明は、請求項3に記載の車載装置において、前記エリア設定手段は、前記各認識部分枠を、車線に相当する領域内に配置することを要旨とする。
【0009】
請求項5に記載の発明は、請求項4に記載の車載装置において、前記エリア設定手段は
、前記認識部分枠を、前記車線の進行方向に沿って並べることを要旨とする。
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の車載装置において、前記簡易認識手段は、路面のみを撮像した画像データの平均輝度と、前記認識対象領域内の平均輝度との差に基づき、路面上の物体の有無を認識することを要旨とする。
【0010】
請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の車載装置において、前記車両認識手段は、路面上の物体があると判断した前記認識対象領域に対し、エッジ検出を行って他車両を認識することを要旨とする。
【0011】
請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の車載装置において、前記車両認識手段は、路面上の物体があると判断した前記認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識することを要旨とする。
【0012】
請求項9に記載の発明は、請求項2〜8のいずれか1項に記載の車載装置において、前記車両認識手段は、認識した他車両に関する周辺車両データを生成するとともに、前記周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備えることを要旨とする。
【0013】
請求項10に記載の発明は、請求項2〜9のいずれか1項に記載の車載装置において、前記画像データ取得手段は、前記車両の側方に設けられた前記撮像装置から、前記他車両を認識するための画像データを取得することを要旨とする。
【発明の効果】
【0014】
請求項1に記載の発明によれば、車両認識方法において、設定された認識対象エリア内で、路面上の物体を簡易認識処理する。また、路面上の物体が検出された際に、その認識対象エリア内を画像処理して、他車両を認識する。このため、画像データのうち、認識対象領域を設定して、限られたエリア内の物体を認識することにより、処理量を軽減することができる。また、認識対象領域に対して、車両に限らず路面上の物体を検出する簡易認識処理を行い、路面上の物体を認識したときのみ、その認識対象領域に対して画像処理を行って車両の認識を行うので、他車両の認識処理を軽減するとともに、処理時間を短縮化できる。
【0015】
請求項2に記載の発明によれば、車載装置は、エリア設定手段によって設定された認識対象エリア内で、路面上の物体を簡易認識する簡易認識手段を備える。また、路面上の物体が検出された際に、その認識対象エリア内の他車両を認識する車両認識手段を備える。このため、画像データのうち、認識対象領域を設定して、限られたエリア内の物体を認識することにより、処理量を軽減することができる。また、認識対象領域に対して、車両に限らず路面上の物体を検出する簡易認識処理を行い、路面上の物体を認識したときのみ、その認識対象領域に対して画像処理を行って車両の認識を行うので、他車両の認識処理を軽減するとともに、処理時間を短縮化できる。
【0016】
請求項3に記載の発明によれば、エリア設定手段は、認識部分枠を間隔を介して配置する。このため、認識を行う領域を少なくするとともに、間隔を保持して配置することで、物体の検出率を高めることができる。
【0017】
請求項4に記載の発明によれば、部分認識枠は、車線に相当するエリア内に設定される。このため、他車両の検出が必要な領域のみに対して部分認識枠を設定するので、処理量をより軽減できる。
【0018】
請求項5に記載の発明によれば、複数の認識部分枠は、車線の進行方向に沿って並べら
れる。このため、車線内において、車両から遠い位置にある他車両も、近い位置にある他車両も検出することができる。
【0019】
請求項6に記載の発明によれば、路面のみを撮像した画像データの平均輝度と、認識対象枠内の平均輝度との差に基づき、路面上の物体の有無を認識する。従って、処理の簡易性を高めることができる。
【0020】
請求項7に記載の発明によれば、車両認識手段は、検出物ありと判断された認識部分枠をエッジ検出する。即ち、特定の部分認識枠のみに対してエッジ検出を行うので、処理量を軽減しながら、その物体が他車両であるか否かの判断を精度良く行うことができる。
【0021】
請求項8に記載の発明によれば、車両認識手段は、検出物ありと判断された認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識処理する。このため、その認識対象領域及びその周辺を認識処理するので、他車両の誤検出を抑制できる。
【0022】
請求項9に記載の発明によれば、周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備える。このため、周囲の他車両の有無を反映した運転支援を行うことができる。
【0023】
請求項10に記載の発明によれば、車両の側方に設けられた撮像装置から、他車両認識のための画像データを取得するので、車両の側方と、前側方又は後側方とを走行する他車両を認識できる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の駐車支援方法及び車載装置の一実施形態を図1〜図14に従って説明する。
図1に示す運転支援装置1は、主制御を行う画像データ取得手段及び案内手段としてのCPU2、各種変数を記憶するRAM3、運転支援プログラムを記憶するROM4を備えている。
【0025】
CPU2は、GPS受信部6から入力した位置検出信号に基づいて、車両Cの絶対座標を算出する。さらに、CPU2は、車両側入力I/F部5を介して、車両Cに設けられた車速センサ22及びジャイロ23から、車速パルス及び方位検出信号を入力して、自律航法により基準位置からの相対座標を演算する。そして、GPS受信部6に基づく絶対座標と合わせて、自車位置を特定する。
【0026】
また、運転支援装置1は、経路データ8及び地図データ9を記憶した地理データ記憶部7を備えている。経路データ8は、全国を各区域に区画したリージョン毎のデータであって、図2に示すように、ヘッダ8a、ノードデータ8b、リンクデータ8c、リンクコスト8d、座標データ8eを有している。ヘッダ8aは、各経路データ8を管理するためのデータを有している。ノードデータ8bは、交差点、道路の端点等を示す各ノードの識別データ、隣接するノードの識別データ等を有している。リンクデータ8cは、リンク列を構成し、接続ノードを示す各リンクレコード、通行規制を示すデータ等を有している。リンクコスト8dは、各リンクレコードに対して付与されたリンクID、リンク長、平均旅行時間等から構成されるデータ群である。座標データ8eは、各ノードの絶対座標を示す。
【0027】
CPU2は、タッチパネルであるディスプレイ11、ディスプレイ11に隣設された操作スイッチ12の入力操作により、外部入力I/F部13(図1参照)を介して、目的地を示すデータを入力する。この目的地のデータを入力すると、CPU2は、経路データ8
を用いて、目的地と現在の自車位置とを接続する推奨経路を探索する。
【0028】
地図データ9は、全国の地図を分割したエリア毎に格納され、広域の地図から狭域の地図まで各階層毎に分かれている。図3(a)に示すように、各地図データ9は、ヘッダ9a、道路データ9b、背景データ9cを有している。ヘッダ9aは、その地図データ9の階層、エリア等を示し、管理目的のデータである。背景データ9cは、道路、市街地、河川等を描画する描画データである。道路データ9bは、道路の形状・種類を示すデータであって、図3(b)に示すように、道路属性データ9d、リンク形状データ9e、接続データ9fを有している。道路属性データ9dは、道路名称、道路の方向、道路幅、車線数を有している。接続データ9fは、各リンクと各ノードの接続状態を表わすデータである。リンク形状データ9eは、道路の形状を示すためのデータであって、図3(c)に示すように、座標データ9g、形状補間データ9hを有している。座標データ9gは、リンク及びノードの座標を示している。形状補間データ9hは、リンクの途中に設定され、道路のカーブ形状を示すために設定された形状補間点に関するデータであり、形状補間点の座標、リンクの方位等のデータである。
【0029】
CPU2は、車両Cに設けられたイグニッションスイッチ24から、車両側入力I/F部5を介して、図示しないイグニッションシステムの起動を示す開始トリガを入力すると、エリア設定手段、簡易認識手段及び車両認識手段としての画像プロセッサ10(図1参照)を制御して、車両Cの現在位置周辺の地図データ9を読出す。そして、図1に示すように、その地図データ9に基づく地図画面30をディスプレイ11に出力する。このとき、画像プロセッサ10は、地図画面30に、その地図内での自車位置を示す指標31を重畳する。
【0030】
また、CPU2は、所定のタッチパネル操作、所定の操作スイッチ12の入力操作が行われると、撮像装置としての周辺監視カメラ20を起動する。周辺監視カメラ20は、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。周辺監視カメラ20は、本実施形態では、図4(a)に示すように、車両Cの右側方のサイドミラー26に取付けられ、車両Cの右側方及び右側後方を撮像領域Z1としている。CPU2は、周辺監視カメラ20を制御して、撮像領域Z1を撮像した画像データとしての周辺撮像データG1を取得すると、画像プロセッサ10の図示しないVRAMに一時記憶する。
【0031】
さらに、CPU2は、所定のタイミングで、車両Cに設けられた撮像装置としての後方監視カメラ21を起動する。後方監視カメラ21は、周辺監視カメラ20と同様に、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。この後方監視カメラ21は、図4(b)に示すように、車両Cの後端であって、リヤバンパー27の上方に取付けられている。後方監視カメラ21は、例えば左右140度の後方視野を有し、車両Cのリヤバンパー27の一部を含む、後方路面の約数メートルを後方撮像領域Z2としている。CPU2は、後方監視カメラ21を制御して、後方撮像領域Z2を撮像した画像データとしての後方撮像データG2を取得すると、上記した画像プロセッサ10のVRAMに一時記憶する。
【0032】
画像プロセッサ10は、地図データ9を出力して地図画面30を描画する他、車線変更を行う場合に、VRAMに一時記憶された周辺撮像データG1、後方撮像データG2を用いて画像処理を行い、車両Cの右側方及び後方の他車両を認識する。また、他車両が認識された場合には、周辺撮像データG1を用いて、認識した他車両の位置・速度を検出し、検出した位置及び速度を周辺車両データ17としてRAM3に記憶する。また、他車両が認識されなかった場合にも、検出なしを示す周辺車両データ17をRAM3に記憶する。
【0033】
CPU2は、RAM3に記憶された周辺車両データ17に基づき、車両Cが車線変更可能であるか否かを判断し、車線変更可能である場合には、車線変更のための案内方法を決定する。そして、図1に示す音声プロセッサ14を制御して、案内音又は案内音声をスピーカ15から出力する。CPU2が、車線変更不可能であると判断した場合には、同じく音声プロセッサ14を制御して、警告音又は警告音声をスピーカ15から出力する。
【0034】
次に、本実施形態の処理手順について、図5〜8に従って説明する。運転者は、車線変更を行う際に、タッチパネル操作、又は操作スイッチ12の入力操作を行う。運転支援装置1のCPU2は、外部入力I/F部13から所定の信号を入力すると、ROM4に格納された運転支援プログラムに従って、周辺監視カメラ20及び後方監視カメラ21を使用して、周辺車両データ17の取得処理を行う(ステップS1−1)。
【0035】
この周辺車両データを取得する処理について、図6〜図8に従って説明する。まず、図6に示すように、運転支援装置1のCPU2は、周辺監視カメラ20を制御して、周辺撮像データG1を取得する(ステップS2−1)。このとき、周辺監視カメラ20は、例えば図9に示すように、車両Cが現在走行している車線101と並行な隣接車線102の路面と、隣接車線102を走行する他車両100を撮像する。さらに、CPU2は、画像プロセッサ10を制御して、周辺撮像データG1を用いて、路面上の物体の簡易認識処理を行う(ステップS2−2)。
【0036】
簡易認識では、画像プロセッサ10は、図7に示すように、周辺撮像データG1内の隣接車線の位置を演算する(ステップS3−1)。このとき、画像プロセッサ10は、CPU2が演算した車両Cの現在位置に基づき、現在位置周辺の地図データ9を地理データ記憶部7内で検索する。そして、検出した地図データ9のうち、道路データ9bと車両Cの走行する車線とに基づき、車両Cが走行する車線101の側方(本実施形態では右側)に追越し車線等の隣接車線102があるか否かを判断する。そして、隣接車線102を検出すると、取得した周辺撮像データG1内で隣接車線102が占有する領域を推測する。このとき、画像プロセッサ10は、道路データ9bの道路属性データ9dに基づき、隣接車線102の幅員、車線数を取得する。さらに、リンク形状データ9eに基づき、隣接車線102の形状、座標を取得し、車両Cの現在位置から後方の隣接車線102の道路形状を演算する。そして、演算した道路形状を現在の周辺監視カメラ20の視点に変換し、図10(a)の画像41aに示すように、周辺撮像データG1のうち、隣接車線102が占有する隣接車線領域40を算出する。
【0037】
次に、画像プロセッサ10は、認識部分枠を設定する(ステップS3−2)。このとき、画像プロセッサ10は、図10(b)に示すように、ステップS3−1で設定された隣接車線領域40内で、認識対象領域としての認識部分枠42を隣接車線102の進行方向に沿って並べる。認識部分枠42は、図10(c)に示すように、路面上で、横幅2m、進行方向の長さ(奥行き幅)5mの矩形状に設定された枠に相当する。また、路面上の枠は、路面上に進行方向において5mの間隔を介して配置され、認識部分枠42はその枠を画面座標系に変換した領域である。認識部分枠42は、画面上では、略台形状をなし、隣接車線102の集束部に向って縞状に並列されている。
【0038】
各認識部分枠42を設定すると、画像プロセッサ10は、各認識部分枠42内の輝度データをそれぞれ算出する(ステップS3−3)。画像プロセッサ10は、認識部分枠42内の各画素座標の輝度値を平均して、各認識部分枠42ごとに輝度データを算出する。この輝度データの演算処理は、輝度値を平均化するのみの処理であるので、比較的処理量が少ない。
【0039】
次に、画像プロセッサ10は、サンプル枠内の輝度データを算出する(ステップS3−
4)。具体的には、画像プロセッサ10は、CPU2に所定の信号を出力し、後方監視カメラ21を制御して、後方撮像データG2を取得する。このとき、取得された後方撮像データG2は、車両Cが走行する車線101等を撮像したデータであって、例えば図11に示す画像45に相当する撮像データである。画像45には、車両Cのリヤバンパー25を撮像した車両後端画像46が含まれている。そして、この後方撮像データG2のうち、車両Cの後端から比較的近い路面に相当する領域に、サンプル枠47を設定する。さらに、画像プロセッサ10は、後方撮像データG2のうち、サンプル枠47内の平均輝度を演算して、サンプル枠47の輝度データを算出する。
【0040】
さらに、画像プロセッサ10は、各認識部分枠42内の輝度を平均した各輝度データと、サンプル枠47内の輝度を平均した輝度データとをそれぞれ比較し、輝度値差が予め定めた閾値以上である認識部分枠42があるか否かを判断する(ステップS3−5)。上記したように、他車両画像48を含む認識部分枠42の輝度は大きくなるので、閾値は、予め他車両100を撮像した画像と、予め路面のみを撮像した画像との輝度をそれぞれ平均化し、それらの各平均値の差とほぼ一致する値に設定すればよい。サンプル枠47の輝度データとの輝度値差が閾値以上の認識部分枠42があると判断すると(ステップS3−5においてYES)、その認識部分枠42内で検出物ありと判断し、RAM3に格納された検出フラグをオンにする。検出フラグをオンにすると(ステップS3−6)、ステップS2−3に進む。
【0041】
サンプル枠47の輝度データとの輝度値差が閾値以上の認識部分枠42がないと判断すると(ステップS3−5においてNO)、その認識部分枠42内で検出物なしと判断し、RAM3に格納された検出フラグをオフにする。検出フラグをオフにすると(ステップS3−7)、ステップS2−3に進む。図6に示すステップS2−3では、CPU2は、RAM3に格納された検出フラグに基づき、検出物が検出されたか否かを判断する。そして、検出フラグがオンにされ、検出物があると判断した場合には(ステップS2−3においてYES)、検出物の詳細認識処理(S2−4)に進む。検出フラグがオフにされ、検出物がないと判断した場合には(ステップS2−3においてNO)、検出物がないことを示す周辺車両データ17をRAM3に記憶し、ステップS1−2に戻る。
【0042】
ステップS2−3で検出物ありと判断した場合には、図8に示すステップS4−1に進む。ステップS4−1では、画像プロセッサ10は、詳細認識枠を設定する。このとき、画像プロセッサ10は、図12(a)に示すように、検出物ありと判断された認識部分枠42を中心に、認識部分枠42よりも大きい詳細認識枠50を設定する。
【0043】
詳細認識枠50を設定すると、画像プロセッサ10は、周辺撮像データG1のうち、詳細認識枠50内の他車両認識を行う(ステップS4−2)。本実施形態では、画像プロセッサ10は、詳細認識枠50内の画像データに対し、水平エッジを検出するエッジ検出処理を行う。このエッジ検出処理では、注目画素と隣接画素との差分をとって微分値を算出し、さらにノイズ除去処理等も行うため、認識部分枠42及びサンプル枠47内の平均輝度値を演算するよりも、処理量が多い。このため、予め路面上の物体が検出された認識部分枠42を中心とした詳細認識枠50のみに対し、エッジ検出を行うことで、処理量を軽減することができる。
【0044】
他車両100を撮像した周辺撮像データG1に対し水平エッジ検出を行うと、例えば、図12(b)に示すように、車両Cのバンパー、フロントガラスの端部、ルーフ等に相当する水平エッジEGが検出される。画像プロセッサ10は、検出されたエッジの中で、上下方向に並んだ、ほぼ同じ幅の複数の水平エッジEGを探索し、他車両100が検出されたか否かを判断する(ステップS4−3)。該当する水平エッジEG群が検出されると、そのエッジ群を、他車両100に相当すると判断する(ステップS4−3においてYES
)。水平エッジEGの中に、他車両100に相当する水平エッジEGが無い場合(ステップS4−3においてNO)、他車両100なしを示す周辺車両データ17をRAM3に記憶する(ステップS4−6)。
【0045】
他車両100が検出されると、画像プロセッサ10は、他車両100の位置及び速度を算出する(ステップS4−5)。まず、画像プロセッサ10は、他車両100に相当する水平エッジEGの画素座標に基づき、その画素座標を、路面上の座標系に座標変換し、車両Cと他車両100との相対距離を算出する。
【0046】
さらに、画像プロセッサ10は、CPU2を介して、周辺監視カメラ20を制御して、新たな周辺撮像データG1を取得する。そして、ステップS4−2で設定された詳細認識枠50内及びその周辺を再度エッジ検出して、既に検出した水平エッジEGとの類似度が高い水平エッジEGを検出する。そして、新たに撮像した周辺撮像データG1に基づく水平エッジEGの位置と、前に撮像した周辺撮像データG1に基づく水平エッジEGの位置との差分と、サンプリング間隔とに基づき、車両Cに対する他車両100の相対速度を算出する。そして、これらの他車両100の位置及び速度を、周辺車両データ17として、RAM3に一時格納する。
【0047】
このように周辺車両データ17が取得されると、図5に示すステップS1−2に戻り、CPU2が、車両Cに関する自車両データを取得する。この自車両データは、車両Cの現在位置、方位、舵角、車速を有している。そして、CPU2は、RAM3に格納された周辺車両データ17及び自車両データと、予め定めた条件とに基づき、運転支援としての警告を実行するか否かを判断する(ステップS1−3)。
【0048】
例えば、車両Cと他車両100との相対距離が予め定めた距離以上であって、車両Cに対する他車両100の相対速度が過度に大きくない場合には、警告を実行しないと判断する(ステップS1−3においてNO)。警告を実行しない場合には、CPU2は、案内方法を決定する(ステップS1−4)。このとき、相対距離が充分に大きく、車両Cの速度と他車両100の速度とがほぼ同じであった場合には、CPU2は、音声プロセッサ14を制御して、図13に示すように、車線変更を促す音声60をスピーカ15から出力する(ステップS1−5)。また、相対距離が充分に大きいが、速度差が比較的大きい場合には、例えば「速度を上げて車線変更して下さい」等の音声を出力してもよい。
【0049】
例えば、車両Cと他車両100との相対距離が予め定めた距離よりも小さいと判断した場合には(ステップS1−3においてYES)、CPU2は、音声プロセッサ14を制御して、図14に示すように、車線変更を警告する警告音声61をスピーカ15を介して出力する(ステップS1−6)。
【0050】
案内又は警告を出力すると、CPU2は、車線変更を完了したか否かを判断する(ステップS1−7)。本実施形態では、CPU2は、車両Cの現在位置と、経路データ8又は地図データ9とに基づいて、現在走行している車線を判断する。
【0051】
車線変更を完了していないと判断した場合には(ステップS1−7においてNO)、終了トリガの入力の有無を判断する(ステップS1−8)。本実施形態では、終了トリガは、所定のタッチパネル操作、所定の操作スイッチ12の入力操作により出力された信号である。車線変更を途中で中止するような場合には、CPU2は、終了トリガを入力し(ステップS1−8においてYES)、そのまま処理を終了する。終了トリガを入力しない場合には(ステップS1−8においてNO)、ステップS1−1に戻り上記した処理を繰り返す。また、ステップS1−7において車線変更を完了したと判断した場合には(ステップS1−7においてYES)、車線変更のための処理を終了する。
【0052】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、運転支援装置1のCPU2は、車両Cに設けられた周辺監視カメラ20及び後方監視カメラ21から、周辺撮像データG1及び後方撮像データG2を取得するようにした。また、運転支援装置1の画像プロセッサ10は、地図データ9に基づいて、周辺撮像データG1のうち隣接車線領域40を設定するとともに、隣接車線領域40内に、複数の認識部分枠42を設定するようにした。さらに、画像プロセッサ10は、認識部分枠42内の輝度データを算出し、その輝度データを後方撮像データG2内のサンプル枠47内の輝度データと比較することにより、各認識部分枠42に相当する路面上の物体を簡易認識するようにした。そして、検出物が検出された認識部分枠42のみに対してエッジ検出を行って、他車両100の有無を判断するようにした。即ち、周辺撮像データG1の全領域に対して、処理量が大きい車両認識処理を行うのではなく、路面上の物体を認識したときのみ、その認識部分枠42に対してエッジ検出を行うようにしたので、他車両100の認識処理の処理量を軽減するとともに、処理時間を短縮化できる。
【0053】
(2)上記実施形態では、画像プロセッサ10は、隣接車線領域40内に、認識部分枠42を設定するようにした。このため、限られた領域に認識部分枠42を配置するので、周辺撮像データG1全域に認識部分枠42を配置する場合等に比べて、より処理量を軽減できる。
【0054】
(3)上記実施形態では、画像プロセッサ10は、認識部分枠42を、隣接車線102の進行方向に沿って複数並べるようにした。このため、隣接車線102内で、車両Cから遠い位置にある他車両100も、比較的近い位置にある他車両100も検出することができる。
【0055】
(4)上記実施形態では、画像プロセッサ10は、後方監視カメラ21が撮像した後方撮像データG2内のサンプル枠47内の平均輝度と、周辺監視カメラ20が撮像した周辺撮像データG1の認識部分枠42内の平均輝度とを比較することにより、路面上の物体の有無を簡易検出するようにした。このため、路面上の物体に対する認識処理をより簡単にすることができる。
【0056】
(5)上記実施形態では、画像プロセッサ10は、路面上の物体が検出された認識部分枠42よりも大きい詳細認識枠50を設定し、その詳細認識枠50内に対しエッジ検出を行って、他車両100の有無を判断するようにした。このため、詳細認識枠50を若干大きめに設定することにより、まとまった複数本の水平エッジEGの検出率が高くなるので、確実に他車両100を検出することができる。
【0057】
(6)上記実施形態では、画像プロセッサ10は、他車両100の位置及び速度を有する周辺車両データ17、又は隣接車線102内に他車両100が検出されないことを示す周辺車両データ17をRAM3に格納するようにした。そして、CPU2は、その周辺車両データ17に基づき、警告又は車線変更の案内を行うようにした。このため、他車両100の接近中の車線変更等を警告し、車線変更を円滑に行うための案内を行うことができる。
【0058】
尚、本実施形態は以下のように変更してもよい。
・画像プロセッサ10は、地図データ9に基づき隣接車線領域40を算出するようにしたが、これ以外の方法で隣接車線領域40を検出するようにしてもよい。例えば、画像プロセッサ10が、周辺撮像データG1に対し、白線のエッジ又は特徴点等を検出する白線認識処理を行うようにしてもよい。
【0059】
・上記実施形態では、CPU2は、車両Cの現在位置と、経路データ8又は地図データ9とに基づいて、現在走行している車線を判断して、車線変更が終了したか否かを判断するようにした。これ以外に、例えば、画像プロセッサ10が、周辺撮像データG1内の他車両100の画像位置に基づき、車両Cが車線101を走行しているか、隣接車線102を走行しているかを判断してもよい。
【0060】
・上記実施形態では、路面上の物体の簡易認識を、認識部分枠42内の平均輝度値と、サンプル枠47内の平均輝度値との比較により行うようにしたが、これ以外の方法でもよい。例えば、認識部分枠42内のエッジ検出を行い、エッジの有無を判定し、エッジが有る場合に検出物ありと判断するようにしてもよい。
【0061】
・上記実施形態では、隣接車線領域40内に認識部分枠42を並べたが、フレーム全域に、所定間隔で認識部分枠42を配置するようにしてもよい。このようにすると、隣接車線領域40の演算処理を省略できる。
【0062】
・上記実施形態では、検出物ありと判断された認識部分枠42に対し、その認識部分枠42よりも大きい詳細認識枠50を設定するようにしたが、認識部分枠42の大きさに応じて、詳細認識枠50の設定を省略しても良い。そして、認識部分枠42内の水平エッジを検出するようにしても良い。
【0063】
・上記実施形態では、他車両100の認識に、水平エッジの検出処理を行うようにしたが、他車両100の画像の色、形状等の特徴量から車両であることを判断するパターン認識、画像を2値化したデータ等を用いたテンプレートマッチング等、その他の処理方法でもよい。
【0064】
・上記実施形態では、画像プロセッサ10は、他車両100を認識した後、複数の周辺撮像データG1に基づき、他車両100の進行方向を判断するようにしてもよい。そして、他車両100の進行方向と、車両Cとの進行方向が同じである場合に、他車両100の位置及び速度を示す周辺車両データ17を生成するようにしても良い。このようにすると、互いに進行方向が異なる車線が隣接している場合、進行方向うが異なる他車両100を認識する誤判断を防止できる。また、車両Cの走行する車線101の右側方に、同じ進行方向の隣接車線102があるか否かの判断を省略できる。
【0065】
・上記実施形態では、隣接車線領域40を認証対象領域としても良い。即ち、隣接車線領域40の平均輝度と、サンプル枠47内との平均輝度を比較して、路面上の物体の有無を検出するようにしても良い。そして、隣接車線領域40の平均輝度が高い場合には、隣接車線領域40内をエッジ検出するようにしても良い。又は、隣接車線領域40又は周辺撮像データG1のうち、車両Cに近い路面に相当する領域に対し、路面上の物体を検出する簡易認識を行うようにしても良い。そして、その領域内で路面上の物体が検出された際に、その領域に対してエッジ検出を行うようにしてもよい。このようにすると、車線変更の際に、車両Cとの車間距離が短い他車両100のみを検出することができる。
【0066】
・上記実施形態では、車線変更の案内を行う場合に、音声プロセッサ14により音声を出力するようにしたが、画像プロセッサ10により、車線変更を促す表示、警告する表示を、ディスプレイ11又はインストルメントパネルの表示部に出力するようにしても良い。
【0067】
・上記実施形態では、周辺監視カメラ20をサイドミラー26に取付けるようにしたが、隣接車線102内の他車両100を撮像可能であれば、ルーフ等、その他の場所に取付けるようにしてもよい。また、2つの周辺監視カメラ20を、左右のサイドミラーに取付
ける等、周辺監視カメラ20を複数設けてもよい。そして、車両Cが右側の車線から左側の車線に車線変更する際に、左側のサイドミラーに取付けた周辺撮像データに基づいて、周辺車両データ17を生成し、車線変更の案内を行うようにしてもよい。
【0068】
・上記実施形態では、後方監視カメラ21を用いずに路面上の物体の簡易認識を行うようにしてもよい。この場合、周辺撮像データG1内で、車両Cに近い路面に相当する位置等にサンプル枠47を設定し、そのサンプル枠47内の平均輝度値を算出するようにしてもよい。
【0069】
・上記実施形態では、車両Cの前端に取付けられたカメラを用いて、他車両認識を行うようにしてもよい。この場合には、そのカメラによる撮像データを用いて、同様に画像処理を行い、車両Cの前方を走行する他車両100との相対距離、相対速度を取得することができる。そして、その周辺車両データを、車線変更等に用いることができる。
【0070】
・上記実施形態では、他車両100の認識処理により生成された周辺車両データ17を、車線変更の運転支援に用いるようにしたが、合流支援等、その他の運転支援に用いるようにしてもよい。
【図面の簡単な説明】
【0071】
【図1】本実施形態の運転支援装置のブロック図。
【図2】経路データのデータ構成の説明図。
【図3】(a)〜(c)は地図データのデータ構成の説明図。
【図4】(a)は周辺監視カメラ、(b)は後方監視カメラの撮像範囲の説明図。
【図5】本実施形態の処理手順の説明図。
【図6】本実施形態の処理手順の説明図。
【図7】本実施形態の処理手順の説明図。
【図8】本実施形態の処理手順の説明図。
【図9】周辺監視カメラの撮像時の説明図。
【図10】(a)は隣接車線領域、(b)は認識部分枠の配置、(c)は認識部分枠の説明図。
【図11】後方監視カメラの後方撮像データの説明図。
【図12】(a)は詳細認識枠、(b)はエッジ検出の説明図。
【図13】車線変更時の車線変更案内の説明図。
【図14】車線変更時の警告の説明図。
【符号の説明】
【0072】
1…車載装置としての運転支援装置、2…画像データ取得手段及び案内手段としてのCPU、10…エリア設定手段、簡易認識手段及び車両認識手段としての画像プロセッサ、17…周辺車両データ、20…撮像装置としての周辺監視カメラ、21…撮像装置としての後方監視カメラ、42…認識対象領域としての認識部分枠、50…詳細認識枠、100…他車両、101…車線、102…隣接車線、C…車両、G1…画像データとしての周辺撮像データ、G2…画像データとしての後方撮像データ。
【技術分野】
【0001】
本発明は、車両認識方法及び車載装置に関する。
【背景技術】
【0002】
近年、渋滞等の交通問題を解決し、自動車の円滑な走行を図るために、高度道路交通システム(Intelligent Transport Systems)の開発が進められている。このシステムでは
、例えば、車々間通信や路車間通信、又は自動車が具備する各種装置等により、所定距離内の各自動車の情報を収集し、各自動車に対して周辺道路状況に応じた操作支援を行う。
【0003】
自車両周辺の車両に関する情報(周辺車両データ)を取得する方法として、例えば、車々間通信又は路車間通信によって取得する方法(例えば特許文献1参照)、車両に取付けられたカメラを用いる方法が提案されている。このうち、カメラによる画像データに基づき、周辺車両データを取得する方法は、車々間通信可能な他車両の存在、路車間通信可能な環境等の条件によらない点で有利である。
【特許文献1】特開2005−84790号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところが、カメラによって撮像された画像データを用いて周辺車両データを取得する場合には、画像処理を行うため処理量が多くなる問題がある。このため、周辺車両データを取得する処理の軽減化が要求されている。
【0005】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、周辺の車両に関する情報を取得する処理を軽減することができる車両認識方法及び車載装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために、請求項1に記載の発明は、自車両の周辺の他車両を認識する車両認識方法において、前記自車両に設けられた撮像装置から、前記自車両周辺を撮像した画像データを取得し、その画像データ内で他車両を認識するための認識対象領域を設定するとともに、前記認識対象領域内で路面上の物体の有無を判断する簡易認識処理を行い、前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行うことを要旨とする。
【0007】
請求項2に記載の発明は、車両に搭載された車載装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データ内で、他車両を認識するための認識対象領域を設定するエリア設定手段と、前記認識対象領域内で、路面上の物体を検出する簡易認識手段と、前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行う車両認識手段とを備えたことを要旨とする。
【0008】
請求項3に記載の発明は、請求項2に記載の車載装置において、前記エリア設定手段は、前記画像データ内に、各認識部分枠を間隔を介して配置することを要旨とする。
請求項4に記載の発明は、請求項3に記載の車載装置において、前記エリア設定手段は、前記各認識部分枠を、車線に相当する領域内に配置することを要旨とする。
【0009】
請求項5に記載の発明は、請求項4に記載の車載装置において、前記エリア設定手段は
、前記認識部分枠を、前記車線の進行方向に沿って並べることを要旨とする。
請求項6に記載の発明は、請求項2〜5のいずれか1項に記載の車載装置において、前記簡易認識手段は、路面のみを撮像した画像データの平均輝度と、前記認識対象領域内の平均輝度との差に基づき、路面上の物体の有無を認識することを要旨とする。
【0010】
請求項7に記載の発明は、請求項2〜6のいずれか1項に記載の車載装置において、前記車両認識手段は、路面上の物体があると判断した前記認識対象領域に対し、エッジ検出を行って他車両を認識することを要旨とする。
【0011】
請求項8に記載の発明は、請求項2〜7のいずれか1項に記載の車載装置において、前記車両認識手段は、路面上の物体があると判断した前記認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識することを要旨とする。
【0012】
請求項9に記載の発明は、請求項2〜8のいずれか1項に記載の車載装置において、前記車両認識手段は、認識した他車両に関する周辺車両データを生成するとともに、前記周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備えることを要旨とする。
【0013】
請求項10に記載の発明は、請求項2〜9のいずれか1項に記載の車載装置において、前記画像データ取得手段は、前記車両の側方に設けられた前記撮像装置から、前記他車両を認識するための画像データを取得することを要旨とする。
【発明の効果】
【0014】
請求項1に記載の発明によれば、車両認識方法において、設定された認識対象エリア内で、路面上の物体を簡易認識処理する。また、路面上の物体が検出された際に、その認識対象エリア内を画像処理して、他車両を認識する。このため、画像データのうち、認識対象領域を設定して、限られたエリア内の物体を認識することにより、処理量を軽減することができる。また、認識対象領域に対して、車両に限らず路面上の物体を検出する簡易認識処理を行い、路面上の物体を認識したときのみ、その認識対象領域に対して画像処理を行って車両の認識を行うので、他車両の認識処理を軽減するとともに、処理時間を短縮化できる。
【0015】
請求項2に記載の発明によれば、車載装置は、エリア設定手段によって設定された認識対象エリア内で、路面上の物体を簡易認識する簡易認識手段を備える。また、路面上の物体が検出された際に、その認識対象エリア内の他車両を認識する車両認識手段を備える。このため、画像データのうち、認識対象領域を設定して、限られたエリア内の物体を認識することにより、処理量を軽減することができる。また、認識対象領域に対して、車両に限らず路面上の物体を検出する簡易認識処理を行い、路面上の物体を認識したときのみ、その認識対象領域に対して画像処理を行って車両の認識を行うので、他車両の認識処理を軽減するとともに、処理時間を短縮化できる。
【0016】
請求項3に記載の発明によれば、エリア設定手段は、認識部分枠を間隔を介して配置する。このため、認識を行う領域を少なくするとともに、間隔を保持して配置することで、物体の検出率を高めることができる。
【0017】
請求項4に記載の発明によれば、部分認識枠は、車線に相当するエリア内に設定される。このため、他車両の検出が必要な領域のみに対して部分認識枠を設定するので、処理量をより軽減できる。
【0018】
請求項5に記載の発明によれば、複数の認識部分枠は、車線の進行方向に沿って並べら
れる。このため、車線内において、車両から遠い位置にある他車両も、近い位置にある他車両も検出することができる。
【0019】
請求項6に記載の発明によれば、路面のみを撮像した画像データの平均輝度と、認識対象枠内の平均輝度との差に基づき、路面上の物体の有無を認識する。従って、処理の簡易性を高めることができる。
【0020】
請求項7に記載の発明によれば、車両認識手段は、検出物ありと判断された認識部分枠をエッジ検出する。即ち、特定の部分認識枠のみに対してエッジ検出を行うので、処理量を軽減しながら、その物体が他車両であるか否かの判断を精度良く行うことができる。
【0021】
請求項8に記載の発明によれば、車両認識手段は、検出物ありと判断された認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識処理する。このため、その認識対象領域及びその周辺を認識処理するので、他車両の誤検出を抑制できる。
【0022】
請求項9に記載の発明によれば、周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備える。このため、周囲の他車両の有無を反映した運転支援を行うことができる。
【0023】
請求項10に記載の発明によれば、車両の側方に設けられた撮像装置から、他車両認識のための画像データを取得するので、車両の側方と、前側方又は後側方とを走行する他車両を認識できる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の駐車支援方法及び車載装置の一実施形態を図1〜図14に従って説明する。
図1に示す運転支援装置1は、主制御を行う画像データ取得手段及び案内手段としてのCPU2、各種変数を記憶するRAM3、運転支援プログラムを記憶するROM4を備えている。
【0025】
CPU2は、GPS受信部6から入力した位置検出信号に基づいて、車両Cの絶対座標を算出する。さらに、CPU2は、車両側入力I/F部5を介して、車両Cに設けられた車速センサ22及びジャイロ23から、車速パルス及び方位検出信号を入力して、自律航法により基準位置からの相対座標を演算する。そして、GPS受信部6に基づく絶対座標と合わせて、自車位置を特定する。
【0026】
また、運転支援装置1は、経路データ8及び地図データ9を記憶した地理データ記憶部7を備えている。経路データ8は、全国を各区域に区画したリージョン毎のデータであって、図2に示すように、ヘッダ8a、ノードデータ8b、リンクデータ8c、リンクコスト8d、座標データ8eを有している。ヘッダ8aは、各経路データ8を管理するためのデータを有している。ノードデータ8bは、交差点、道路の端点等を示す各ノードの識別データ、隣接するノードの識別データ等を有している。リンクデータ8cは、リンク列を構成し、接続ノードを示す各リンクレコード、通行規制を示すデータ等を有している。リンクコスト8dは、各リンクレコードに対して付与されたリンクID、リンク長、平均旅行時間等から構成されるデータ群である。座標データ8eは、各ノードの絶対座標を示す。
【0027】
CPU2は、タッチパネルであるディスプレイ11、ディスプレイ11に隣設された操作スイッチ12の入力操作により、外部入力I/F部13(図1参照)を介して、目的地を示すデータを入力する。この目的地のデータを入力すると、CPU2は、経路データ8
を用いて、目的地と現在の自車位置とを接続する推奨経路を探索する。
【0028】
地図データ9は、全国の地図を分割したエリア毎に格納され、広域の地図から狭域の地図まで各階層毎に分かれている。図3(a)に示すように、各地図データ9は、ヘッダ9a、道路データ9b、背景データ9cを有している。ヘッダ9aは、その地図データ9の階層、エリア等を示し、管理目的のデータである。背景データ9cは、道路、市街地、河川等を描画する描画データである。道路データ9bは、道路の形状・種類を示すデータであって、図3(b)に示すように、道路属性データ9d、リンク形状データ9e、接続データ9fを有している。道路属性データ9dは、道路名称、道路の方向、道路幅、車線数を有している。接続データ9fは、各リンクと各ノードの接続状態を表わすデータである。リンク形状データ9eは、道路の形状を示すためのデータであって、図3(c)に示すように、座標データ9g、形状補間データ9hを有している。座標データ9gは、リンク及びノードの座標を示している。形状補間データ9hは、リンクの途中に設定され、道路のカーブ形状を示すために設定された形状補間点に関するデータであり、形状補間点の座標、リンクの方位等のデータである。
【0029】
CPU2は、車両Cに設けられたイグニッションスイッチ24から、車両側入力I/F部5を介して、図示しないイグニッションシステムの起動を示す開始トリガを入力すると、エリア設定手段、簡易認識手段及び車両認識手段としての画像プロセッサ10(図1参照)を制御して、車両Cの現在位置周辺の地図データ9を読出す。そして、図1に示すように、その地図データ9に基づく地図画面30をディスプレイ11に出力する。このとき、画像プロセッサ10は、地図画面30に、その地図内での自車位置を示す指標31を重畳する。
【0030】
また、CPU2は、所定のタッチパネル操作、所定の操作スイッチ12の入力操作が行われると、撮像装置としての周辺監視カメラ20を起動する。周辺監視カメラ20は、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。周辺監視カメラ20は、本実施形態では、図4(a)に示すように、車両Cの右側方のサイドミラー26に取付けられ、車両Cの右側方及び右側後方を撮像領域Z1としている。CPU2は、周辺監視カメラ20を制御して、撮像領域Z1を撮像した画像データとしての周辺撮像データG1を取得すると、画像プロセッサ10の図示しないVRAMに一時記憶する。
【0031】
さらに、CPU2は、所定のタイミングで、車両Cに設けられた撮像装置としての後方監視カメラ21を起動する。後方監視カメラ21は、周辺監視カメラ20と同様に、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。この後方監視カメラ21は、図4(b)に示すように、車両Cの後端であって、リヤバンパー27の上方に取付けられている。後方監視カメラ21は、例えば左右140度の後方視野を有し、車両Cのリヤバンパー27の一部を含む、後方路面の約数メートルを後方撮像領域Z2としている。CPU2は、後方監視カメラ21を制御して、後方撮像領域Z2を撮像した画像データとしての後方撮像データG2を取得すると、上記した画像プロセッサ10のVRAMに一時記憶する。
【0032】
画像プロセッサ10は、地図データ9を出力して地図画面30を描画する他、車線変更を行う場合に、VRAMに一時記憶された周辺撮像データG1、後方撮像データG2を用いて画像処理を行い、車両Cの右側方及び後方の他車両を認識する。また、他車両が認識された場合には、周辺撮像データG1を用いて、認識した他車両の位置・速度を検出し、検出した位置及び速度を周辺車両データ17としてRAM3に記憶する。また、他車両が認識されなかった場合にも、検出なしを示す周辺車両データ17をRAM3に記憶する。
【0033】
CPU2は、RAM3に記憶された周辺車両データ17に基づき、車両Cが車線変更可能であるか否かを判断し、車線変更可能である場合には、車線変更のための案内方法を決定する。そして、図1に示す音声プロセッサ14を制御して、案内音又は案内音声をスピーカ15から出力する。CPU2が、車線変更不可能であると判断した場合には、同じく音声プロセッサ14を制御して、警告音又は警告音声をスピーカ15から出力する。
【0034】
次に、本実施形態の処理手順について、図5〜8に従って説明する。運転者は、車線変更を行う際に、タッチパネル操作、又は操作スイッチ12の入力操作を行う。運転支援装置1のCPU2は、外部入力I/F部13から所定の信号を入力すると、ROM4に格納された運転支援プログラムに従って、周辺監視カメラ20及び後方監視カメラ21を使用して、周辺車両データ17の取得処理を行う(ステップS1−1)。
【0035】
この周辺車両データを取得する処理について、図6〜図8に従って説明する。まず、図6に示すように、運転支援装置1のCPU2は、周辺監視カメラ20を制御して、周辺撮像データG1を取得する(ステップS2−1)。このとき、周辺監視カメラ20は、例えば図9に示すように、車両Cが現在走行している車線101と並行な隣接車線102の路面と、隣接車線102を走行する他車両100を撮像する。さらに、CPU2は、画像プロセッサ10を制御して、周辺撮像データG1を用いて、路面上の物体の簡易認識処理を行う(ステップS2−2)。
【0036】
簡易認識では、画像プロセッサ10は、図7に示すように、周辺撮像データG1内の隣接車線の位置を演算する(ステップS3−1)。このとき、画像プロセッサ10は、CPU2が演算した車両Cの現在位置に基づき、現在位置周辺の地図データ9を地理データ記憶部7内で検索する。そして、検出した地図データ9のうち、道路データ9bと車両Cの走行する車線とに基づき、車両Cが走行する車線101の側方(本実施形態では右側)に追越し車線等の隣接車線102があるか否かを判断する。そして、隣接車線102を検出すると、取得した周辺撮像データG1内で隣接車線102が占有する領域を推測する。このとき、画像プロセッサ10は、道路データ9bの道路属性データ9dに基づき、隣接車線102の幅員、車線数を取得する。さらに、リンク形状データ9eに基づき、隣接車線102の形状、座標を取得し、車両Cの現在位置から後方の隣接車線102の道路形状を演算する。そして、演算した道路形状を現在の周辺監視カメラ20の視点に変換し、図10(a)の画像41aに示すように、周辺撮像データG1のうち、隣接車線102が占有する隣接車線領域40を算出する。
【0037】
次に、画像プロセッサ10は、認識部分枠を設定する(ステップS3−2)。このとき、画像プロセッサ10は、図10(b)に示すように、ステップS3−1で設定された隣接車線領域40内で、認識対象領域としての認識部分枠42を隣接車線102の進行方向に沿って並べる。認識部分枠42は、図10(c)に示すように、路面上で、横幅2m、進行方向の長さ(奥行き幅)5mの矩形状に設定された枠に相当する。また、路面上の枠は、路面上に進行方向において5mの間隔を介して配置され、認識部分枠42はその枠を画面座標系に変換した領域である。認識部分枠42は、画面上では、略台形状をなし、隣接車線102の集束部に向って縞状に並列されている。
【0038】
各認識部分枠42を設定すると、画像プロセッサ10は、各認識部分枠42内の輝度データをそれぞれ算出する(ステップS3−3)。画像プロセッサ10は、認識部分枠42内の各画素座標の輝度値を平均して、各認識部分枠42ごとに輝度データを算出する。この輝度データの演算処理は、輝度値を平均化するのみの処理であるので、比較的処理量が少ない。
【0039】
次に、画像プロセッサ10は、サンプル枠内の輝度データを算出する(ステップS3−
4)。具体的には、画像プロセッサ10は、CPU2に所定の信号を出力し、後方監視カメラ21を制御して、後方撮像データG2を取得する。このとき、取得された後方撮像データG2は、車両Cが走行する車線101等を撮像したデータであって、例えば図11に示す画像45に相当する撮像データである。画像45には、車両Cのリヤバンパー25を撮像した車両後端画像46が含まれている。そして、この後方撮像データG2のうち、車両Cの後端から比較的近い路面に相当する領域に、サンプル枠47を設定する。さらに、画像プロセッサ10は、後方撮像データG2のうち、サンプル枠47内の平均輝度を演算して、サンプル枠47の輝度データを算出する。
【0040】
さらに、画像プロセッサ10は、各認識部分枠42内の輝度を平均した各輝度データと、サンプル枠47内の輝度を平均した輝度データとをそれぞれ比較し、輝度値差が予め定めた閾値以上である認識部分枠42があるか否かを判断する(ステップS3−5)。上記したように、他車両画像48を含む認識部分枠42の輝度は大きくなるので、閾値は、予め他車両100を撮像した画像と、予め路面のみを撮像した画像との輝度をそれぞれ平均化し、それらの各平均値の差とほぼ一致する値に設定すればよい。サンプル枠47の輝度データとの輝度値差が閾値以上の認識部分枠42があると判断すると(ステップS3−5においてYES)、その認識部分枠42内で検出物ありと判断し、RAM3に格納された検出フラグをオンにする。検出フラグをオンにすると(ステップS3−6)、ステップS2−3に進む。
【0041】
サンプル枠47の輝度データとの輝度値差が閾値以上の認識部分枠42がないと判断すると(ステップS3−5においてNO)、その認識部分枠42内で検出物なしと判断し、RAM3に格納された検出フラグをオフにする。検出フラグをオフにすると(ステップS3−7)、ステップS2−3に進む。図6に示すステップS2−3では、CPU2は、RAM3に格納された検出フラグに基づき、検出物が検出されたか否かを判断する。そして、検出フラグがオンにされ、検出物があると判断した場合には(ステップS2−3においてYES)、検出物の詳細認識処理(S2−4)に進む。検出フラグがオフにされ、検出物がないと判断した場合には(ステップS2−3においてNO)、検出物がないことを示す周辺車両データ17をRAM3に記憶し、ステップS1−2に戻る。
【0042】
ステップS2−3で検出物ありと判断した場合には、図8に示すステップS4−1に進む。ステップS4−1では、画像プロセッサ10は、詳細認識枠を設定する。このとき、画像プロセッサ10は、図12(a)に示すように、検出物ありと判断された認識部分枠42を中心に、認識部分枠42よりも大きい詳細認識枠50を設定する。
【0043】
詳細認識枠50を設定すると、画像プロセッサ10は、周辺撮像データG1のうち、詳細認識枠50内の他車両認識を行う(ステップS4−2)。本実施形態では、画像プロセッサ10は、詳細認識枠50内の画像データに対し、水平エッジを検出するエッジ検出処理を行う。このエッジ検出処理では、注目画素と隣接画素との差分をとって微分値を算出し、さらにノイズ除去処理等も行うため、認識部分枠42及びサンプル枠47内の平均輝度値を演算するよりも、処理量が多い。このため、予め路面上の物体が検出された認識部分枠42を中心とした詳細認識枠50のみに対し、エッジ検出を行うことで、処理量を軽減することができる。
【0044】
他車両100を撮像した周辺撮像データG1に対し水平エッジ検出を行うと、例えば、図12(b)に示すように、車両Cのバンパー、フロントガラスの端部、ルーフ等に相当する水平エッジEGが検出される。画像プロセッサ10は、検出されたエッジの中で、上下方向に並んだ、ほぼ同じ幅の複数の水平エッジEGを探索し、他車両100が検出されたか否かを判断する(ステップS4−3)。該当する水平エッジEG群が検出されると、そのエッジ群を、他車両100に相当すると判断する(ステップS4−3においてYES
)。水平エッジEGの中に、他車両100に相当する水平エッジEGが無い場合(ステップS4−3においてNO)、他車両100なしを示す周辺車両データ17をRAM3に記憶する(ステップS4−6)。
【0045】
他車両100が検出されると、画像プロセッサ10は、他車両100の位置及び速度を算出する(ステップS4−5)。まず、画像プロセッサ10は、他車両100に相当する水平エッジEGの画素座標に基づき、その画素座標を、路面上の座標系に座標変換し、車両Cと他車両100との相対距離を算出する。
【0046】
さらに、画像プロセッサ10は、CPU2を介して、周辺監視カメラ20を制御して、新たな周辺撮像データG1を取得する。そして、ステップS4−2で設定された詳細認識枠50内及びその周辺を再度エッジ検出して、既に検出した水平エッジEGとの類似度が高い水平エッジEGを検出する。そして、新たに撮像した周辺撮像データG1に基づく水平エッジEGの位置と、前に撮像した周辺撮像データG1に基づく水平エッジEGの位置との差分と、サンプリング間隔とに基づき、車両Cに対する他車両100の相対速度を算出する。そして、これらの他車両100の位置及び速度を、周辺車両データ17として、RAM3に一時格納する。
【0047】
このように周辺車両データ17が取得されると、図5に示すステップS1−2に戻り、CPU2が、車両Cに関する自車両データを取得する。この自車両データは、車両Cの現在位置、方位、舵角、車速を有している。そして、CPU2は、RAM3に格納された周辺車両データ17及び自車両データと、予め定めた条件とに基づき、運転支援としての警告を実行するか否かを判断する(ステップS1−3)。
【0048】
例えば、車両Cと他車両100との相対距離が予め定めた距離以上であって、車両Cに対する他車両100の相対速度が過度に大きくない場合には、警告を実行しないと判断する(ステップS1−3においてNO)。警告を実行しない場合には、CPU2は、案内方法を決定する(ステップS1−4)。このとき、相対距離が充分に大きく、車両Cの速度と他車両100の速度とがほぼ同じであった場合には、CPU2は、音声プロセッサ14を制御して、図13に示すように、車線変更を促す音声60をスピーカ15から出力する(ステップS1−5)。また、相対距離が充分に大きいが、速度差が比較的大きい場合には、例えば「速度を上げて車線変更して下さい」等の音声を出力してもよい。
【0049】
例えば、車両Cと他車両100との相対距離が予め定めた距離よりも小さいと判断した場合には(ステップS1−3においてYES)、CPU2は、音声プロセッサ14を制御して、図14に示すように、車線変更を警告する警告音声61をスピーカ15を介して出力する(ステップS1−6)。
【0050】
案内又は警告を出力すると、CPU2は、車線変更を完了したか否かを判断する(ステップS1−7)。本実施形態では、CPU2は、車両Cの現在位置と、経路データ8又は地図データ9とに基づいて、現在走行している車線を判断する。
【0051】
車線変更を完了していないと判断した場合には(ステップS1−7においてNO)、終了トリガの入力の有無を判断する(ステップS1−8)。本実施形態では、終了トリガは、所定のタッチパネル操作、所定の操作スイッチ12の入力操作により出力された信号である。車線変更を途中で中止するような場合には、CPU2は、終了トリガを入力し(ステップS1−8においてYES)、そのまま処理を終了する。終了トリガを入力しない場合には(ステップS1−8においてNO)、ステップS1−1に戻り上記した処理を繰り返す。また、ステップS1−7において車線変更を完了したと判断した場合には(ステップS1−7においてYES)、車線変更のための処理を終了する。
【0052】
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、運転支援装置1のCPU2は、車両Cに設けられた周辺監視カメラ20及び後方監視カメラ21から、周辺撮像データG1及び後方撮像データG2を取得するようにした。また、運転支援装置1の画像プロセッサ10は、地図データ9に基づいて、周辺撮像データG1のうち隣接車線領域40を設定するとともに、隣接車線領域40内に、複数の認識部分枠42を設定するようにした。さらに、画像プロセッサ10は、認識部分枠42内の輝度データを算出し、その輝度データを後方撮像データG2内のサンプル枠47内の輝度データと比較することにより、各認識部分枠42に相当する路面上の物体を簡易認識するようにした。そして、検出物が検出された認識部分枠42のみに対してエッジ検出を行って、他車両100の有無を判断するようにした。即ち、周辺撮像データG1の全領域に対して、処理量が大きい車両認識処理を行うのではなく、路面上の物体を認識したときのみ、その認識部分枠42に対してエッジ検出を行うようにしたので、他車両100の認識処理の処理量を軽減するとともに、処理時間を短縮化できる。
【0053】
(2)上記実施形態では、画像プロセッサ10は、隣接車線領域40内に、認識部分枠42を設定するようにした。このため、限られた領域に認識部分枠42を配置するので、周辺撮像データG1全域に認識部分枠42を配置する場合等に比べて、より処理量を軽減できる。
【0054】
(3)上記実施形態では、画像プロセッサ10は、認識部分枠42を、隣接車線102の進行方向に沿って複数並べるようにした。このため、隣接車線102内で、車両Cから遠い位置にある他車両100も、比較的近い位置にある他車両100も検出することができる。
【0055】
(4)上記実施形態では、画像プロセッサ10は、後方監視カメラ21が撮像した後方撮像データG2内のサンプル枠47内の平均輝度と、周辺監視カメラ20が撮像した周辺撮像データG1の認識部分枠42内の平均輝度とを比較することにより、路面上の物体の有無を簡易検出するようにした。このため、路面上の物体に対する認識処理をより簡単にすることができる。
【0056】
(5)上記実施形態では、画像プロセッサ10は、路面上の物体が検出された認識部分枠42よりも大きい詳細認識枠50を設定し、その詳細認識枠50内に対しエッジ検出を行って、他車両100の有無を判断するようにした。このため、詳細認識枠50を若干大きめに設定することにより、まとまった複数本の水平エッジEGの検出率が高くなるので、確実に他車両100を検出することができる。
【0057】
(6)上記実施形態では、画像プロセッサ10は、他車両100の位置及び速度を有する周辺車両データ17、又は隣接車線102内に他車両100が検出されないことを示す周辺車両データ17をRAM3に格納するようにした。そして、CPU2は、その周辺車両データ17に基づき、警告又は車線変更の案内を行うようにした。このため、他車両100の接近中の車線変更等を警告し、車線変更を円滑に行うための案内を行うことができる。
【0058】
尚、本実施形態は以下のように変更してもよい。
・画像プロセッサ10は、地図データ9に基づき隣接車線領域40を算出するようにしたが、これ以外の方法で隣接車線領域40を検出するようにしてもよい。例えば、画像プロセッサ10が、周辺撮像データG1に対し、白線のエッジ又は特徴点等を検出する白線認識処理を行うようにしてもよい。
【0059】
・上記実施形態では、CPU2は、車両Cの現在位置と、経路データ8又は地図データ9とに基づいて、現在走行している車線を判断して、車線変更が終了したか否かを判断するようにした。これ以外に、例えば、画像プロセッサ10が、周辺撮像データG1内の他車両100の画像位置に基づき、車両Cが車線101を走行しているか、隣接車線102を走行しているかを判断してもよい。
【0060】
・上記実施形態では、路面上の物体の簡易認識を、認識部分枠42内の平均輝度値と、サンプル枠47内の平均輝度値との比較により行うようにしたが、これ以外の方法でもよい。例えば、認識部分枠42内のエッジ検出を行い、エッジの有無を判定し、エッジが有る場合に検出物ありと判断するようにしてもよい。
【0061】
・上記実施形態では、隣接車線領域40内に認識部分枠42を並べたが、フレーム全域に、所定間隔で認識部分枠42を配置するようにしてもよい。このようにすると、隣接車線領域40の演算処理を省略できる。
【0062】
・上記実施形態では、検出物ありと判断された認識部分枠42に対し、その認識部分枠42よりも大きい詳細認識枠50を設定するようにしたが、認識部分枠42の大きさに応じて、詳細認識枠50の設定を省略しても良い。そして、認識部分枠42内の水平エッジを検出するようにしても良い。
【0063】
・上記実施形態では、他車両100の認識に、水平エッジの検出処理を行うようにしたが、他車両100の画像の色、形状等の特徴量から車両であることを判断するパターン認識、画像を2値化したデータ等を用いたテンプレートマッチング等、その他の処理方法でもよい。
【0064】
・上記実施形態では、画像プロセッサ10は、他車両100を認識した後、複数の周辺撮像データG1に基づき、他車両100の進行方向を判断するようにしてもよい。そして、他車両100の進行方向と、車両Cとの進行方向が同じである場合に、他車両100の位置及び速度を示す周辺車両データ17を生成するようにしても良い。このようにすると、互いに進行方向が異なる車線が隣接している場合、進行方向うが異なる他車両100を認識する誤判断を防止できる。また、車両Cの走行する車線101の右側方に、同じ進行方向の隣接車線102があるか否かの判断を省略できる。
【0065】
・上記実施形態では、隣接車線領域40を認証対象領域としても良い。即ち、隣接車線領域40の平均輝度と、サンプル枠47内との平均輝度を比較して、路面上の物体の有無を検出するようにしても良い。そして、隣接車線領域40の平均輝度が高い場合には、隣接車線領域40内をエッジ検出するようにしても良い。又は、隣接車線領域40又は周辺撮像データG1のうち、車両Cに近い路面に相当する領域に対し、路面上の物体を検出する簡易認識を行うようにしても良い。そして、その領域内で路面上の物体が検出された際に、その領域に対してエッジ検出を行うようにしてもよい。このようにすると、車線変更の際に、車両Cとの車間距離が短い他車両100のみを検出することができる。
【0066】
・上記実施形態では、車線変更の案内を行う場合に、音声プロセッサ14により音声を出力するようにしたが、画像プロセッサ10により、車線変更を促す表示、警告する表示を、ディスプレイ11又はインストルメントパネルの表示部に出力するようにしても良い。
【0067】
・上記実施形態では、周辺監視カメラ20をサイドミラー26に取付けるようにしたが、隣接車線102内の他車両100を撮像可能であれば、ルーフ等、その他の場所に取付けるようにしてもよい。また、2つの周辺監視カメラ20を、左右のサイドミラーに取付
ける等、周辺監視カメラ20を複数設けてもよい。そして、車両Cが右側の車線から左側の車線に車線変更する際に、左側のサイドミラーに取付けた周辺撮像データに基づいて、周辺車両データ17を生成し、車線変更の案内を行うようにしてもよい。
【0068】
・上記実施形態では、後方監視カメラ21を用いずに路面上の物体の簡易認識を行うようにしてもよい。この場合、周辺撮像データG1内で、車両Cに近い路面に相当する位置等にサンプル枠47を設定し、そのサンプル枠47内の平均輝度値を算出するようにしてもよい。
【0069】
・上記実施形態では、車両Cの前端に取付けられたカメラを用いて、他車両認識を行うようにしてもよい。この場合には、そのカメラによる撮像データを用いて、同様に画像処理を行い、車両Cの前方を走行する他車両100との相対距離、相対速度を取得することができる。そして、その周辺車両データを、車線変更等に用いることができる。
【0070】
・上記実施形態では、他車両100の認識処理により生成された周辺車両データ17を、車線変更の運転支援に用いるようにしたが、合流支援等、その他の運転支援に用いるようにしてもよい。
【図面の簡単な説明】
【0071】
【図1】本実施形態の運転支援装置のブロック図。
【図2】経路データのデータ構成の説明図。
【図3】(a)〜(c)は地図データのデータ構成の説明図。
【図4】(a)は周辺監視カメラ、(b)は後方監視カメラの撮像範囲の説明図。
【図5】本実施形態の処理手順の説明図。
【図6】本実施形態の処理手順の説明図。
【図7】本実施形態の処理手順の説明図。
【図8】本実施形態の処理手順の説明図。
【図9】周辺監視カメラの撮像時の説明図。
【図10】(a)は隣接車線領域、(b)は認識部分枠の配置、(c)は認識部分枠の説明図。
【図11】後方監視カメラの後方撮像データの説明図。
【図12】(a)は詳細認識枠、(b)はエッジ検出の説明図。
【図13】車線変更時の車線変更案内の説明図。
【図14】車線変更時の警告の説明図。
【符号の説明】
【0072】
1…車載装置としての運転支援装置、2…画像データ取得手段及び案内手段としてのCPU、10…エリア設定手段、簡易認識手段及び車両認識手段としての画像プロセッサ、17…周辺車両データ、20…撮像装置としての周辺監視カメラ、21…撮像装置としての後方監視カメラ、42…認識対象領域としての認識部分枠、50…詳細認識枠、100…他車両、101…車線、102…隣接車線、C…車両、G1…画像データとしての周辺撮像データ、G2…画像データとしての後方撮像データ。
【特許請求の範囲】
【請求項1】
自車両の周辺の他車両を認識する車両認識方法において、
前記自車両に設けられた撮像装置から、前記自車両周辺を撮像した画像データを取得し、その画像データ内で他車両を認識するための認識対象領域を設定するとともに、
前記認識対象領域内で路面上の物体の有無を判断する簡易認識処理を行い、
前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行うことを特徴とする車両認識方法。
【請求項2】
車両に搭載された車載装置において、
前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
前記画像データ内で、他車両を認識するための認識対象領域を設定するエリア設定手段と、
前記認識対象領域内で、路面上の物体を検出する簡易認識手段と、
前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行う車両認識手段と
を備えたことを特徴とする車載装置。
【請求項3】
請求項2に記載の車載装置において、
前記エリア設定手段は、前記画像データ内に、各認識部分枠を間隔を介して配置することを特徴とする車載装置。
【請求項4】
請求項3に記載の車載装置において、
前記エリア設定手段は、前記各認識部分枠を、車線に相当する領域内に配置することを特徴とする車載装置。
【請求項5】
請求項4に記載の車載装置において、
前記エリア設定手段は、前記認識部分枠を、前記車線の進行方向に沿って並べることを特徴とする車載装置。
【請求項6】
請求項2〜5のいずれか1項に記載の車載装置において、
前記簡易認識手段は、路面のみを撮像した画像データの平均輝度と、前記認識対象領域内の平均輝度との差に基づき、路面上の物体の有無を認識することを特徴とする車載装置。
【請求項7】
請求項2〜6のいずれか1項に記載の車載装置において、
前記車両認識手段は、路面上の物体があると判断した前記認識対象領域に対し、エッジ検出を行って他車両を認識することを特徴とする車載装置。
【請求項8】
請求項2〜7のいずれか1項に記載の車載装置において、
前記車両認識手段は、路面上の物体があると判断した前記認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識することを特徴とする車載装置。
【請求項9】
請求項2〜8のいずれか1項に記載の車載装置において、
前記車両認識手段は、認識した他車両に関する周辺車両データを生成するとともに、
前記周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備えることを特徴とする車載装置。
【請求項10】
請求項2〜9のいずれか1項に記載の車載装置において、
前記画像データ取得手段は、前記車両の側方に設けられた前記撮像装置から、前記他車
両を認識するための画像データを取得することを特徴とする車載装置。
【請求項1】
自車両の周辺の他車両を認識する車両認識方法において、
前記自車両に設けられた撮像装置から、前記自車両周辺を撮像した画像データを取得し、その画像データ内で他車両を認識するための認識対象領域を設定するとともに、
前記認識対象領域内で路面上の物体の有無を判断する簡易認識処理を行い、
前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行うことを特徴とする車両認識方法。
【請求項2】
車両に搭載された車載装置において、
前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
前記画像データ内で、他車両を認識するための認識対象領域を設定するエリア設定手段と、
前記認識対象領域内で、路面上の物体を検出する簡易認識手段と、
前記認識対象領域内で前記路面上の物体が検出された際に、その認識対象領域内の他車両を認識する画像処理を行う車両認識手段と
を備えたことを特徴とする車載装置。
【請求項3】
請求項2に記載の車載装置において、
前記エリア設定手段は、前記画像データ内に、各認識部分枠を間隔を介して配置することを特徴とする車載装置。
【請求項4】
請求項3に記載の車載装置において、
前記エリア設定手段は、前記各認識部分枠を、車線に相当する領域内に配置することを特徴とする車載装置。
【請求項5】
請求項4に記載の車載装置において、
前記エリア設定手段は、前記認識部分枠を、前記車線の進行方向に沿って並べることを特徴とする車載装置。
【請求項6】
請求項2〜5のいずれか1項に記載の車載装置において、
前記簡易認識手段は、路面のみを撮像した画像データの平均輝度と、前記認識対象領域内の平均輝度との差に基づき、路面上の物体の有無を認識することを特徴とする車載装置。
【請求項7】
請求項2〜6のいずれか1項に記載の車載装置において、
前記車両認識手段は、路面上の物体があると判断した前記認識対象領域に対し、エッジ検出を行って他車両を認識することを特徴とする車載装置。
【請求項8】
請求項2〜7のいずれか1項に記載の車載装置において、
前記車両認識手段は、路面上の物体があると判断した前記認識対象領域を中心とした詳細認識枠を設定し、その詳細認識枠内の他車両を認識することを特徴とする車載装置。
【請求項9】
請求項2〜8のいずれか1項に記載の車載装置において、
前記車両認識手段は、認識した他車両に関する周辺車両データを生成するとともに、
前記周辺車両データに基づき、運転支援に関する案内を行う案内手段をさらに備えることを特徴とする車載装置。
【請求項10】
請求項2〜9のいずれか1項に記載の車載装置において、
前記画像データ取得手段は、前記車両の側方に設けられた前記撮像装置から、前記他車
両を認識するための画像データを取得することを特徴とする車載装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2007−115198(P2007−115198A)
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−308864(P2005−308864)
【出願日】平成17年10月24日(2005.10.24)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願日】平成17年10月24日(2005.10.24)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]