車両用物体検出装置
【課題】遠方まで連続する連続物体を精度よく検出可能な車両用物体検出装置を提供する。
【解決手段】ECUは、カメラで撮像された画像を構成する各点の中から、路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出し、抽出された点を、各対応点の前後方向距離及び車幅方向離に基づいて、車体前後方向と車幅方向とで規定される平面上にマッピングし、前後方向距離が所定前後距離以下の点の中から、略車両前後方向に並ぶ点列を抽出し、マッピングされる平面上において、該点列を規定する近似曲線を導出し、前後方向距離が所定前後距離以上の点の中から、近似曲線との間の車幅方向の距離が所定車幅距離未満の点を、近距離連続点列に連続する遠距離連続点列として抽出し、近距離点列及び遠距離連続点列を、車体前後方向に延びる連続物体と推定する。
【解決手段】ECUは、カメラで撮像された画像を構成する各点の中から、路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出し、抽出された点を、各対応点の前後方向距離及び車幅方向離に基づいて、車体前後方向と車幅方向とで規定される平面上にマッピングし、前後方向距離が所定前後距離以下の点の中から、略車両前後方向に並ぶ点列を抽出し、マッピングされる平面上において、該点列を規定する近似曲線を導出し、前後方向距離が所定前後距離以上の点の中から、近似曲線との間の車幅方向の距離が所定車幅距離未満の点を、近距離連続点列に連続する遠距離連続点列として抽出し、近距離点列及び遠距離連続点列を、車体前後方向に延びる連続物体と推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両前方の物体を検出する車両用物体検出装置に関し、車両の安全技術の分野に属する。
【背景技術】
【0002】
従来より、撮像手段で取得された画像から、自車両の前方に存在する道路側壁やガードレール等の連続物体を検出する車両用物体検出装置が知られている。
【0003】
このような車両用物体検出装置として、例えば、特許文献1には、車両前方を撮像する撮像手段と、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、前記三次元位置情報検出手段で検出された車幅方向距離が所定範囲内の点に基づいて連続物体(特許文献1では道路側壁)に対応する直線式を導出する手段とを有するものが開示されている。
【0004】
【特許文献1】特開平6−266828号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、前記特許文献1に記載のものにおいては、道路側壁は直線的な物体と仮定されているが、カーブしている道路においては側壁も曲線的なものとなる。また、自車両から遠方では画像上における連続物体の大きさが小さくなると共に、前方車両等の障害物と画像上で重なる場合があり、その結果、遠方まで連続する連続物体を精度よく検出することが困難となっている。
【0006】
そこで、本発明は、遠方まで連続する道路側壁等の連続物体を精度よく検出可能な車両用物体検出装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明は、次のように構成したことを特徴とする。
【0008】
まず、本願の請求項1に記載の発明は、車両前方の物体を検出する車両用物体検出装置であって、車両前方を撮像する撮像手段と、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された車両からの前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列を抽出する近距離点列抽出手段と、前記マッピング平面上において、該近距離点列抽出手段で抽出された点列に基づいて、前記所定前後距離位置よりも前方まで延び、該点列に対応する近似曲線を導出する近似曲線導出手段と、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点を、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出する遠距離点抽出手段と、前記近距離点列抽出手段で抽出された近距離点列及び前記遠距離点抽出手段で抽出された遠距離側の点を、略車体前後方向に延びる連続物体と推定する連続物体推定手段とを有していることを特徴とする。
【0009】
また、請求項2に記載の発明は、前記請求項1に記載の車両用物体検出装置において、前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点を、車両前方に存在する障害物と推定する障害物推定手段を有していることを特徴とする。
【0010】
また、請求項3に記載の発明は、前記請求項1または請求項2に記載の車両用物体検出装置において、前記近似曲線導出手段は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより、近似曲線を導出することを特徴とする。
【0011】
また、請求項4に記載の発明は、前記請求項1から請求項3のいずれか1項に記載の車両用物体検出装置において、前記近距離点列抽出手段は、略車体前後方向に所定数以上連続して並ぶ点の列を近距離点列とすることを特徴とする。
【0012】
また、請求項5に記載の発明は、前記請求項1から請求項4のいずれか1項に記載の車両用物体検出装置において、前記三次元位置情報検出手段は、車幅方向距離として当該車両の車幅中心からの距離を検出し、前記近距離点列抽出手段は、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車幅中心からの距離が第3所定車幅距離以上の点を近距離点列として抽出することを特徴とする。
【0013】
また、請求項6に記載の発明は、前記請求項1から請求項5のいずれか1項に記載の車両用物体検出装置において、車両前方の明るさを検出する明るさ検出手段と、該明るさ検出手段で検出された明るさが暗いほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離を小さくする所定前後距離変更手段とが備えられていることを特徴とする。
【0014】
また、請求項7に記載の発明は、前記請求項1から請求項6のいずれか1項に記載の車両用物体検出装置において、前記近距離点列抽出手段は、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列を抽出するように構成されており、前記近似曲線導出手段は、前記所定前後距離位置よりも前方に前記近距離点列に略車体前後方向に連続して並ぶ点の列が存在するときは、この点の列を含めて近似曲線を導出し、前記遠距離点抽出手段は、この点の列よりも前方の点の中から遠距離側の点を抽出することを特徴とする。
【発明の効果】
【0015】
次に、本発明の効果について説明する。
【0016】
まず、請求項1に記載の発明によれば、撮像手段により車両前方を撮像し、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離が三次元位置情報検出手段によりそれぞれ検出され、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された上下方向距離に基づいて、路面上の物体を構成する点が物体構成点抽出手段により抽出され、該物体構成点抽出手段で抽出された点が、マッピング手段により、前記三次元位置情報検出手段で検出された前後方向距離、車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングされる。
【0017】
そして、本発明においては、該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両から前方への距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列が近距離点列抽出手段により抽出され、該近距離点列抽出手段で抽出された点列に基づいて、該点列よりも前方まで延び、該点列に対応する近似曲線が近似曲線導出手段により導出される。そして、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点が、遠距離点抽出手段により、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出され、前記近距離点列抽出手段で抽出された近距離点列及び遠距離点抽出手段で抽出された遠距離側の点が、連続物体推定手段により車体前後方向に延びる連続物体として推定される。すなわち、連続物体における遠方の部分を、精度よく検出可能な近くの部分から精度よく推定することができる。なお、この連続物体としては、例えば道路側壁や、ガードレールや、大型トラック等が含まれる。
【0018】
また、請求項2に記載の発明によれば、前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点が、車両前方に存在する障害物として障害物推定手段により推定される。すなわち、連続物体近傍に障害物等が存在している場合でも、該障害物を精度よく推定(検出)することができる。
【0019】
また、請求項3に記載の発明によれば、近似曲線は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより導出される。したがって、近似曲線を精度よく導出することができる。
【0020】
また、請求項4に記載の発明によれば、略車体前後方向に所定数以上並ぶ点列が、近距離点列として抽出される。その場合に、所定数を、例えば乗用車等を除外可能な数とすれば、例えば大型トラックや道路側壁、ガードレール等の車体前後方向に延びる連続物体を精度よく検出することができる。
【0021】
また、請求項5に記載の発明によれば、当該車両の車幅中心からの距離が第3所定車幅距離以上の点の中から近距離点列が抽出される。したがって、例えば車幅中心付近に乗用車等の車両が存在する場合でも、該車両を連続物体として検出するのが防止される。換言すれば、例えば道路側壁やガードレール等、車体の側方において前後に延びる連続物体に対応する近距離点列を精度よく検出することができる。
【0022】
ところで、一般に、車両前方が暗くなると、撮像手段により取得された画像中にノイズ成分が増加し、近距離側点列抽出手段による点列抽出精度が遠距離側ほど低下する。すなわち、近似曲線導出の精度が低下することとなる。
【0023】
しかし、請求項6に記載の発明によれば、車両前方の明るさが明るさ検出手段により検出され、暗くなるほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離が所定前後距離変更手段により小さくされる。したがって、例えば車両前方が暗くなってきても、近距離点列の抽出精度が大きく低下するのが防止されることとなる。
【0024】
また、請求項7に記載の発明によれば、前記近距離点列抽出手段により、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列が抽出され、存在するときは、前記近似曲線導出手段によりこの点の列を含めて近似曲線が導出される。したがって、近似曲線導出のための点列数が増加することとなり、近似曲線の導出精度が向上する。なお、この場合、遠距離側の点は、前記近距離点列に略車体前後方向に連続して並ぶ点の列よりも前方の(遠い)点の中から抽出すればよい。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施の形態に係る車両用物体検出装置について説明する。
【0026】
図1に示すように、本発明の実施形態に係る車両用物体検出装置10は、車両1に搭載されており、左右一対のカメラ(ステレオカメラ)11L,11Rと、照度センサ112と、ECU100とを備えている。また、車両1には、警報装置13が備えられている。
【0027】
各カメラ11L,11Rは、車両1のルーフ部の前端部に、それぞれが図2に示すような当該車両1の前方の画像を取得可能なように、互いの撮像領域を重複させて、光軸を所定方向に向けて配設されている。なお、図2は左側カメラ11Lの画像例であるが、右側カメラ11Lの画像は左側カメラ11Lの画像に対して左右の視差分ずれを生じた画像として得られる。また、各カメラ11L,11Rは、CCD等の撮像素子を有するデジタルカメラにより構成され、取得した画像を信号化してECU100に送信する。
【0028】
照度センサ12は、車両1のフロントウインドガラス近傍に、自車両1の前方の照度を検知可能なように配設されている。この照度センサ12は、例えばCdS(硫化カドミウム)センサ等により構成され、車外の照度に対応する信号をECU100に送信する。
【0029】
警報装置13は、運転席前方のインストルメントパネルに配設され、ECU100からの信号を受けて、警報音を発生し、または警報音ととともにディスプレー上に警報表示を行う。
【0030】
ECU100は、ROM及びRAM等の記憶部や、該記憶部に記憶されているデータに対して演算を行うCPU等を有しており、各カメラ11L,11Rから送信される画像信号を所定周期毎に受信(取得)して、受信した画像信号をデジタル画像データとして前記記憶部に記する。このデジタル画像データは、各カメラ画像GL,GRを構成する各画素の画像面上での座標(xi,yi)情報と、各画素の輝度値情報とからなり、ECU100は、このデジタル画像データを基に、照度センサ12の検出結果をふまえて後述する所定の処理を行う。そして、ECU100は、その演算結果に基づいて警報装置13に警報出力信号を出力する。
【0031】
次に、前記ECU100により実行される物体検出処理制御の詳細について図3のフローチャートに基づいて説明する。なお、このフローチャートによる制御は、所定周期毎に繰り返し行われる。
【0032】
まず、ステップS1では、各カメラ11L,11Rから画像信号を取得して画像データとして記憶部に記憶する。また、照度センサ12から照度信号を入力する。
【0033】
ステップS2では、左側カメラ画像GLと右側カメラ画像GRとで対応する画素を検索(検出)する。ここで、対応する画素とは、画像中の種々の撮像対象における同一部位を構成する画素である。
【0034】
ここで、対応する画素の検出は、公知の方法であるArea-based matching手法に基づいて行われる。Area-based matching手法とは、一方の画像のある画素に対応する画素を、他方の画像から探す際にその画素の回りの局所的な輝度値(濃度)パターンを手がかりに探索しようとするものである。具体的には、図4(a),(b)に示すように、左側カメラ画像GLの一の画素回りに3×3ピクセルのウィンドを設定するとともに該ウィンドに囲まれた画像をテンプレート画像GTとして、右側カメラ画像GRのエピポーラ(epipolar line)線EL上に設定した探索範囲GS内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像GLの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、SADアルゴリズム(Sum of Absolute Difference)を採用している。すなわち、前記左側カメラ画像GLに設定されたテンプレート画像GTと、マッチングを行う右側カメラ画像GR内の画像との間で対応する画素間の輝度差の合計値(SAD値)を次式(1)により算出して、この合計値が所定値以下である場合には対応する画素(対応点)が検出されたものとして、その画像面上での座標を記憶する。尚、前記マッチングに使用するアルゴリズムは、SADアルゴリズムに限ったものではなく、例えば、SSD(Sum of Squared Difference)アルゴリズムや、NCC(Normalized Cross Correlation)アルゴリズムを使用するようにしてもよい。なお、以後、対応する画素のことを対応点という。
【0035】
【数1】
ML:左側画像の画素の輝度値
MR:右側画像の画素の輝度値
【0036】
ステップS3〜S5では、ステップS2で検出された各対応点の三次元位置情を算出する。
【0037】
すなわち、ステップS3では、ステップS2で検出された各対応点について、自車両1からの車体前後方向距離Lziを、左右のカメラ画像GL,GR間での対応点の位置ずれ量(視差)を基に三角測量の原理によって算出する。なお、自車両1からの車体前後方向距離Lzi(以下、前後方向距離Lziという)は、カメラ11L,11Rの焦点位置からの距離である。図5は、ステップS2で検出された各対応点を、左側カメラ画像GLの対応点を構成する画素位置(座標位置)に、その前後方向距離Lzに応じた濃度で図示したものであり、道路側壁や自車両1の前方の車両や、路面の一部等が濃淡であらわれている。なお、この図4は、対応点の検出結果を視覚的に把握しやすいように一例として表示したものであり、本制御の処理中にこれらのものが表示されるわけではない。
【0038】
ステップS4では、ステップS2で検出された各対応点について、自車両1の車幅中心からの距離Lxi(以下、車幅方向距離Lxiという)を算出する。この距離Lxiは、対応点の前後方向距離Lzi及び座標に基づいて算出される。
【0039】
ステップS5では、ステップS2で検出された各対応点の路面からの上下方向距離Lyi(路面からの高さ)を算出する。なお、この上下方向距離Lyiは、対応点の座標(x,y)、カメラ11L,11Rの路面からの高さ、及びカメラ11L,11Rの光軸方向等に基づいて算出される。
【0040】
ステップS6では、ステップS5で検出された上下方向距離Lyiが所定値以上(例えば10cm)の対応点を抽出する。こうすることにより、対応点のうち、路面や、該路面上の比較的小さな物体等を構成する対応点が除外され、図3における道路側壁や車両等、比較的背の高い物体についての対応点のみが抽出されることとなる。
【0041】
ステップS7では、ステップS6で抽出された各対応点のうち、本車両1から所定距離m1,m2,m3,…(複数設定されている)に位置する対応点を抽出し、この抽出した対応点を、図6に示すように、ステップS3,S4で算出された各対応点の前後方向距離Lzi及び車幅方向距離Lziに基づいて、車体前後方向(Z方向)と車幅方向(X方向)とで規定される平面(以下、この平面をマッピング平面という)上にマッピングする。ここで、所定距離m1,m2,m3,…に位置する対応点のみを抽出する理由については後述する近距離点列の抽出の説明にあわせて説明する。
【0042】
ステップS8では、前記マッピング平面上に近距離点列抽出領域を設定する。この近距離点列抽出領域は、車両1からの前後方向距離が所定前後距離Lzn以下、車幅方向距離が所定車幅距離Lxn以上の領域に設定される。その場合に、所定車幅距離Lxnは一定値だが、所定前後距離Lynは照度センサ12で検出された照度に基づいて設定されるようになっている。詳しくは、図7に示すように、照度センサ12で検出された照度が小さくなるほど、すなわち暗くなるほど、所定前後距離Lznが小さくされる。
【0043】
ステップS9では、これらのマッピングした対応点のうち、近距離点列抽出領域に属する対応点の中から、略車体前後方向に連続して並ぶ点の列を近距離点列として抽出する。
【0044】
この近距離点列抽出について図8を用いてその一例について説明すると、まず、自車両1からの前後方向距離Lziが最も小さい点P1とその次に距離が小さい点P2とを結んだ線L1の車体前後方向(Z方向)に対してなす角度θ1が、所定角度θ0よりも小さいか否かを判定し、小さくない場合は、点P1をP2に対して略車体前後方向に連続して並ぶ点とし、記憶部に記憶する。次に、前記点P2と自車両1からの距離が次に小さい点P3とを結んだ線L2の前記線L1に対してなす角度θ2が、前記所定角度θ0よりも小さいか否かを判定し、小さい場合は、点P3を点P2に対して略車体前後方向に連続して並ぶ点とし、記憶部に記憶する。次に、前記点P3と自車両1からの距離が次に小さい点P4とを結んだ線L3の前記線L2に対してなす角度θ3が、前記所定角度θ0よりも小さいか否かを判定する。そして、図8の場合においては、小さくないので、点P4については点P3に対して略車体前後方向に連続して並ぶ点とはしない。すなわち、近距離点列抽出領域に属する点について、略車体前後方向に並ばない点が検出されるまで、自車両1からの距離が小さい点から順に、前述のような処理を繰り返す。
【0045】
ここで、前記ステップS7において所定距離m1,m2,m3,…に位置する対応点のみを抽出する理由について説明する。すなわち、近距離点列抽出領域内の全対応点を近距離点列の検討対象とすると、図4のように画素が格子状に配置されている場合、隣接する対応点間においては、角度θnは、車体前後方向(Z方向)と、該方向に対して略45度方向との2つしか存在しなくなり、略車体前後方向に並ぶか否かの判定が実質的にできない。そこで、角度θnを精度よく判定可能なように、所定距離m1,m2,m3,…に位置する対応点のみを抽出するようにしている。また、このように間引くことにより、演算量を削減することもできる。
【0046】
次に、ステップS10では、ステップS8で検出された略車体前後方向に連続して並ぶ点の総数が、所定数α以上か否かを判定する。ステップS9で略車体前後方向に連続して並ぶ点が検出されたとしても、点の総数が少ないときは、これらの点が側壁やガードレール等の略車体前後方向に延びる連続物体を構成する点でなく、他の物体を構成する点であると考えられるので、どちらの物体の可能性が高いかを判定するのである。
【0047】
そして、この点の総数が所定数α以上のときは(YES)、これらの複数の点を、略車体前後方向に連続して並ぶ近距離点列として記憶部に記憶し、ステップS11に進む。一方、所定数α未満のときは(NO)、近距離点列と認めず、ENDに進む。
【0048】
ステップS11では、この近距離点列に基づいて、図9に示すように、前記マッピング平面上において、前記所定前後距離Lzn位置よりも前方に延び、前記近距離点列に対応する近似曲線C1を重回帰分析により導出する。本実施の形態においては、近似曲線C1は式2に示す二次関数により定める。その場合に、その係数a,b,cは、ステップS8で検出された近距離点列を構成する複数の点の座標値(xi,zi)を式2に代入して最小二乗法により求める。なお、近似式は、式3に示す三次関数により定めてもよく、この場合、二次関数の場合同様、その係数a,b,c,dは最小二乗法により求めればよい。また、二次関数、三次関数以外にも、適切に近似しうる関数を適用してもよい。
【数2】
【数3】
【0049】
ステップS12では、図10に示すように、前後方向距離Lziが所定前後距離Lznよりも大きい点のうち、前記近似曲線C1との間の車幅方向の距離が所定車幅距離Lx0以内にある点を、前記近距離点列に連続する遠距離側の点として抽出する。詳しくは、前後方向距離Lziが所定前後距離Lzn以上の各点について、近似曲線C1との間の車幅方向の距離を全て算出し、その距離が所定車幅距離Lx0以内か否かを各点について判定し、所定車幅距離Lx0以内と判定された点を抽出し、この抽出された点を遠距離側の点として記憶する。なお、本実施の形態においては、連続物体及び障害物の推定精度(検出精度)をさらに向上させるために、ステップS13以下において、抽出された遠距離側の点を利用して、再度、近似曲線を導出するが、本ステップS12までに抽出されたこれらの近距離点列及び遠距離側の点を、車体前後方向に延びる連続物体として推定することも可能である。
【0050】
ステップS13では、図11に示すように、前記マッピング平面上において、前述のようにして抽出された近距離点列及び遠距点側の点の両方に基づいて、これらの点に対応する近似曲線C2を重回帰分析により導出する。なお、これは、ステップS11同様に行えばよい。
【0051】
ステップS14では、図12に示すように、自車両1からの前後方向距離Lziが所定前後距離Lzn以上の点のうち、ステップS13において再度算出された近似曲線C2との間の車幅方向の距離が所定車幅距離Lx0以内にある点を、前記近距離点列に連続する遠距離側の点として再抽出する。なお、この処理は、ステップS12同様に行えばよい。
【0052】
ステップS15では、前述のようにして抽出された近距離点列及び遠距離点側の点を略車体前後方向に延びる連続物体と推定する。ここで、この連続物体には、例えば、道路側壁や、ガードレールや、自車両1の側方を走行する大型トラック等が含まれる。
【0053】
ステップS16では、ステップS13において再度算出された近似曲線C2との間の車幅方向の距離が所定車幅距離Lx0以上の点を、自車両1の走行方向に存在する障害物を構成する点と推定する。なお、この場合、所定車幅距離Lx0以上の点のうち、隣接する点との距離が所定距離以内のもの同士をグループ化すれば、障害物が複数存在する場合でも、それらを分離して認識することができる。ここで、本ステップS16における所定車幅距離は、Lx0よりも大きな値としてもよい。
【0054】
そして、ECU100は、このように検出された連続物体及び障害物との位置関係等に応じて、警報装置13から警報音等を発生させる。
【0055】
以上のように、本実施の形態に係る車両用物体検出装置10によれば、カメラ11L,11Rにより自車両1の前方が撮像される。そして、ECU100により、撮像された画像を構成する各点について、該車両1からの前後方向距離Lzi、車幅方向距離Lxi、及び路面からの上下方向距離Lyiが検出され、カメラ11L,11Rで取得された各点の中から、前記上下方向距離Lyiに基づいて、路面上の物体を構成する点が抽出され、この抽出された点が、前後方向距離Lzi及び車幅方向距離Lxiに基づいて、図6に示すように、車体前後方向(z方向)と車幅方向(x方向)とで規定されるマッピング平面上にマッピングされる。
【0056】
そして、本実施の形態においては、マッピングされた点のうち、前後方向距離Lziが所定前後距離Lzn以下で、かつ略車体前後方向に並ぶ近距離点列が抽出され、この抽出された近距離点列に基づいて、該近距離点列よりも前方まで延び、該点列に対応する近似曲線C1が導出される。そして、マッピングされた点のうち、前後方向距離Lziが所定前後距離Lznよりも大きく、かつ近似曲線C1との間の車幅方向の距離が所定車幅距離Lx0以下の点が、近距離点列に連続する遠距離側の点として抽出される。そして、これらの近距離点列及び遠距離側の点が、車体前後方向に延びる連続物体として推定される。すなわち、連続物体における遠方の部分を、精度よく検出可能な近くに存在する部分から精度よく推定することができる。なお、この連続物体としては、例えば大型トラックや道路側壁、ガードレール等がある。
【0057】
また、マッピングされた点のうち、近似曲線C2との間の車幅方向の距離が前記所定車幅距離Lx0よりも大きい点が、自車両1の前方に存在する障害物として推定(検出)される。すなわち、連続物体以外に障害物等が存在している場合でも、該障害物を精度よく推定(検出)することができる。
【0058】
また、近似曲線C1,C2は、近距離点列を重回帰分析することにより導出される。したがって、近似曲線C1,C2を精度よく導出することができる。
【0059】
また、近距離点列を抽出する場合に、略車体前後方向に所定数α以上並んでいることを条件として、近距離点列として抽出される。その場合に、所定数αを、例えば乗用車等を除外可能な数とすれば、例えば大型トラックや道路側壁、ガードレール等の車体前後方向に延びる連続物体を精度よく検出することができる。
【0060】
また、車幅中心からの距離Lxiが所定車幅距離Lxn(所定値)以上の点の中から近距離点列が抽出される。したがって、例えば車幅方向中央付近に乗用車等の車両が存在する場合でも、該車両を連続物体として検出するのが防止される。すなわち、道路側壁や、ガードレールや、大型トラック等、車体の側方において前後に延びる連続物体に対応する近距離点列を精度よく検出することができる。
【0061】
また、一般に、車両前方が暗くなるほど、カメラ11L,11Rにより取得された画像中にノイズ成分が増加するが、本実施の形態においては、車両前方の明るさが照度センサ12により検出され、暗くなるほど、前記所定前後距離Lznが小さくされる。したがって、例えば車両前方が暗くなってきても、近距離点列の抽出精度が大きく低下するのが防止されることとなる。
【0062】
ここで、ECU100による各ステップの処理と特許請求の範囲との対応について説明しておくと、ステップS3〜S5は三次元位置情報検出手段に対応し、ステップS6は物体構成点検出手段に対応しステップS7はマッピング手段に対応し、ステップS8は所定前後距離変更手段に対応し、ステップS9は近距離点列抽出手段に対応し、ステップS10は近距離点列抽出手段に対応し、ステップS11は近似曲線導出手段に対応し、ステップS12は遠距離点抽出手段に対応し、ステップS13は近似曲線導出手段に対応し、ステップS14は遠距離点抽出手段に対応し、ステップS15は連続物体推定手段に対応し、ステップS16は障害物推定手段に対応する。
【0063】
なお、図13に示すように、自車両1からの前後方向距離が所定前後距離Lznよりも大きい位置、すなわち近距離点列抽出領域よりも前方の位置においても、近距離点列に連続する点の列が存在する場合がある。そこで、これらの点の列を近距離点列に連続する点の列として検出し、この点列を含めて近似曲線C1′を導出するようにしてもよい。こうすることにより、近似曲線導出のための点数が増加することとなり、近似曲線の導出精度が向上する。なお、遠距離側の点は、近距離点列に連続する前記点の列のよりも前方に位置する点の中から抽出すればよい。なお、この構成は、特許請求の範囲における請求項7の構成に対応する。
【産業上の利用可能性】
【0064】
本発明は、遠方まで連続する連続物体を精度よく検出可能な車両用物体検出装置を提供することでき、自動車産業に広く利用することができる。
【図面の簡単な説明】
【0065】
【図1】本発明の実施形態に係る車両用物体検出装置が搭載された自動車の概略模式図である。
【図2】カメラにより撮像された画像の例である。
【図3】本車両用物体検出装置のECUによる制御を示すフローチャートの一例である。
【図4】対応点検索に用いられるArea−based matching手法の説明図である。
【図5】対応点として検出された画素を該対応点の前方距離に応じた濃度で表示して視覚化した画像である。
【図6】本ECUによる連続物体の検出制御の説明図である(その1。車体前後方向と車幅方向とで規定されるマッピング平面上に対応点をマッピングした状態を示している)。
【図7】近距離点列抽出領域の所定前後距離と照度との関係を示す特性図である。
【図8】本ECUによる近距離点列抽出の説明図である。
【図9】本ECUによる連続物体の検出制御の説明図である(その2)。
【図10】同検出制御の説明図である(その3)。
【図11】同検出制御の説明図である(その4)。
【図12】同検出制御の説明図である(その5)。
【図13】本ECUによる連続物体の検出制御のその他の例の説明図である。
【符号の説明】
【0066】
1 車両
10 車両用物体検出装置
11L,11R カメラ(撮像手段)
12 照度センサ(明るさ検出手段)
13 警報装置
100 ECU(三次元位置検出手段、物体構成点抽出手段、マッピング手段、近距離点列抽出手段、近似曲線導出手段、遠距離点抽出手段、連続物体推定手段、障害物推定手段、所定前後距離変更手段)
Lzn 所定前後距離
Lxn 所定車幅距離(第3所定車幅距離)
Lx0 所定車幅距離(所定車幅距離、第2所定車幅距離)
【技術分野】
【0001】
本発明は、車両前方の物体を検出する車両用物体検出装置に関し、車両の安全技術の分野に属する。
【背景技術】
【0002】
従来より、撮像手段で取得された画像から、自車両の前方に存在する道路側壁やガードレール等の連続物体を検出する車両用物体検出装置が知られている。
【0003】
このような車両用物体検出装置として、例えば、特許文献1には、車両前方を撮像する撮像手段と、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、前記三次元位置情報検出手段で検出された車幅方向距離が所定範囲内の点に基づいて連続物体(特許文献1では道路側壁)に対応する直線式を導出する手段とを有するものが開示されている。
【0004】
【特許文献1】特開平6−266828号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、前記特許文献1に記載のものにおいては、道路側壁は直線的な物体と仮定されているが、カーブしている道路においては側壁も曲線的なものとなる。また、自車両から遠方では画像上における連続物体の大きさが小さくなると共に、前方車両等の障害物と画像上で重なる場合があり、その結果、遠方まで連続する連続物体を精度よく検出することが困難となっている。
【0006】
そこで、本発明は、遠方まで連続する道路側壁等の連続物体を精度よく検出可能な車両用物体検出装置を提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明は、次のように構成したことを特徴とする。
【0008】
まず、本願の請求項1に記載の発明は、車両前方の物体を検出する車両用物体検出装置であって、車両前方を撮像する撮像手段と、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された車両からの前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列を抽出する近距離点列抽出手段と、前記マッピング平面上において、該近距離点列抽出手段で抽出された点列に基づいて、前記所定前後距離位置よりも前方まで延び、該点列に対応する近似曲線を導出する近似曲線導出手段と、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点を、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出する遠距離点抽出手段と、前記近距離点列抽出手段で抽出された近距離点列及び前記遠距離点抽出手段で抽出された遠距離側の点を、略車体前後方向に延びる連続物体と推定する連続物体推定手段とを有していることを特徴とする。
【0009】
また、請求項2に記載の発明は、前記請求項1に記載の車両用物体検出装置において、前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点を、車両前方に存在する障害物と推定する障害物推定手段を有していることを特徴とする。
【0010】
また、請求項3に記載の発明は、前記請求項1または請求項2に記載の車両用物体検出装置において、前記近似曲線導出手段は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより、近似曲線を導出することを特徴とする。
【0011】
また、請求項4に記載の発明は、前記請求項1から請求項3のいずれか1項に記載の車両用物体検出装置において、前記近距離点列抽出手段は、略車体前後方向に所定数以上連続して並ぶ点の列を近距離点列とすることを特徴とする。
【0012】
また、請求項5に記載の発明は、前記請求項1から請求項4のいずれか1項に記載の車両用物体検出装置において、前記三次元位置情報検出手段は、車幅方向距離として当該車両の車幅中心からの距離を検出し、前記近距離点列抽出手段は、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車幅中心からの距離が第3所定車幅距離以上の点を近距離点列として抽出することを特徴とする。
【0013】
また、請求項6に記載の発明は、前記請求項1から請求項5のいずれか1項に記載の車両用物体検出装置において、車両前方の明るさを検出する明るさ検出手段と、該明るさ検出手段で検出された明るさが暗いほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離を小さくする所定前後距離変更手段とが備えられていることを特徴とする。
【0014】
また、請求項7に記載の発明は、前記請求項1から請求項6のいずれか1項に記載の車両用物体検出装置において、前記近距離点列抽出手段は、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列を抽出するように構成されており、前記近似曲線導出手段は、前記所定前後距離位置よりも前方に前記近距離点列に略車体前後方向に連続して並ぶ点の列が存在するときは、この点の列を含めて近似曲線を導出し、前記遠距離点抽出手段は、この点の列よりも前方の点の中から遠距離側の点を抽出することを特徴とする。
【発明の効果】
【0015】
次に、本発明の効果について説明する。
【0016】
まず、請求項1に記載の発明によれば、撮像手段により車両前方を撮像し、該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離が三次元位置情報検出手段によりそれぞれ検出され、前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された上下方向距離に基づいて、路面上の物体を構成する点が物体構成点抽出手段により抽出され、該物体構成点抽出手段で抽出された点が、マッピング手段により、前記三次元位置情報検出手段で検出された前後方向距離、車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングされる。
【0017】
そして、本発明においては、該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両から前方への距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列が近距離点列抽出手段により抽出され、該近距離点列抽出手段で抽出された点列に基づいて、該点列よりも前方まで延び、該点列に対応する近似曲線が近似曲線導出手段により導出される。そして、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点が、遠距離点抽出手段により、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出され、前記近距離点列抽出手段で抽出された近距離点列及び遠距離点抽出手段で抽出された遠距離側の点が、連続物体推定手段により車体前後方向に延びる連続物体として推定される。すなわち、連続物体における遠方の部分を、精度よく検出可能な近くの部分から精度よく推定することができる。なお、この連続物体としては、例えば道路側壁や、ガードレールや、大型トラック等が含まれる。
【0018】
また、請求項2に記載の発明によれば、前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点が、車両前方に存在する障害物として障害物推定手段により推定される。すなわち、連続物体近傍に障害物等が存在している場合でも、該障害物を精度よく推定(検出)することができる。
【0019】
また、請求項3に記載の発明によれば、近似曲線は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより導出される。したがって、近似曲線を精度よく導出することができる。
【0020】
また、請求項4に記載の発明によれば、略車体前後方向に所定数以上並ぶ点列が、近距離点列として抽出される。その場合に、所定数を、例えば乗用車等を除外可能な数とすれば、例えば大型トラックや道路側壁、ガードレール等の車体前後方向に延びる連続物体を精度よく検出することができる。
【0021】
また、請求項5に記載の発明によれば、当該車両の車幅中心からの距離が第3所定車幅距離以上の点の中から近距離点列が抽出される。したがって、例えば車幅中心付近に乗用車等の車両が存在する場合でも、該車両を連続物体として検出するのが防止される。換言すれば、例えば道路側壁やガードレール等、車体の側方において前後に延びる連続物体に対応する近距離点列を精度よく検出することができる。
【0022】
ところで、一般に、車両前方が暗くなると、撮像手段により取得された画像中にノイズ成分が増加し、近距離側点列抽出手段による点列抽出精度が遠距離側ほど低下する。すなわち、近似曲線導出の精度が低下することとなる。
【0023】
しかし、請求項6に記載の発明によれば、車両前方の明るさが明るさ検出手段により検出され、暗くなるほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離が所定前後距離変更手段により小さくされる。したがって、例えば車両前方が暗くなってきても、近距離点列の抽出精度が大きく低下するのが防止されることとなる。
【0024】
また、請求項7に記載の発明によれば、前記近距離点列抽出手段により、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列が抽出され、存在するときは、前記近似曲線導出手段によりこの点の列を含めて近似曲線が導出される。したがって、近似曲線導出のための点列数が増加することとなり、近似曲線の導出精度が向上する。なお、この場合、遠距離側の点は、前記近距離点列に略車体前後方向に連続して並ぶ点の列よりも前方の(遠い)点の中から抽出すればよい。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施の形態に係る車両用物体検出装置について説明する。
【0026】
図1に示すように、本発明の実施形態に係る車両用物体検出装置10は、車両1に搭載されており、左右一対のカメラ(ステレオカメラ)11L,11Rと、照度センサ112と、ECU100とを備えている。また、車両1には、警報装置13が備えられている。
【0027】
各カメラ11L,11Rは、車両1のルーフ部の前端部に、それぞれが図2に示すような当該車両1の前方の画像を取得可能なように、互いの撮像領域を重複させて、光軸を所定方向に向けて配設されている。なお、図2は左側カメラ11Lの画像例であるが、右側カメラ11Lの画像は左側カメラ11Lの画像に対して左右の視差分ずれを生じた画像として得られる。また、各カメラ11L,11Rは、CCD等の撮像素子を有するデジタルカメラにより構成され、取得した画像を信号化してECU100に送信する。
【0028】
照度センサ12は、車両1のフロントウインドガラス近傍に、自車両1の前方の照度を検知可能なように配設されている。この照度センサ12は、例えばCdS(硫化カドミウム)センサ等により構成され、車外の照度に対応する信号をECU100に送信する。
【0029】
警報装置13は、運転席前方のインストルメントパネルに配設され、ECU100からの信号を受けて、警報音を発生し、または警報音ととともにディスプレー上に警報表示を行う。
【0030】
ECU100は、ROM及びRAM等の記憶部や、該記憶部に記憶されているデータに対して演算を行うCPU等を有しており、各カメラ11L,11Rから送信される画像信号を所定周期毎に受信(取得)して、受信した画像信号をデジタル画像データとして前記記憶部に記する。このデジタル画像データは、各カメラ画像GL,GRを構成する各画素の画像面上での座標(xi,yi)情報と、各画素の輝度値情報とからなり、ECU100は、このデジタル画像データを基に、照度センサ12の検出結果をふまえて後述する所定の処理を行う。そして、ECU100は、その演算結果に基づいて警報装置13に警報出力信号を出力する。
【0031】
次に、前記ECU100により実行される物体検出処理制御の詳細について図3のフローチャートに基づいて説明する。なお、このフローチャートによる制御は、所定周期毎に繰り返し行われる。
【0032】
まず、ステップS1では、各カメラ11L,11Rから画像信号を取得して画像データとして記憶部に記憶する。また、照度センサ12から照度信号を入力する。
【0033】
ステップS2では、左側カメラ画像GLと右側カメラ画像GRとで対応する画素を検索(検出)する。ここで、対応する画素とは、画像中の種々の撮像対象における同一部位を構成する画素である。
【0034】
ここで、対応する画素の検出は、公知の方法であるArea-based matching手法に基づいて行われる。Area-based matching手法とは、一方の画像のある画素に対応する画素を、他方の画像から探す際にその画素の回りの局所的な輝度値(濃度)パターンを手がかりに探索しようとするものである。具体的には、図4(a),(b)に示すように、左側カメラ画像GLの一の画素回りに3×3ピクセルのウィンドを設定するとともに該ウィンドに囲まれた画像をテンプレート画像GTとして、右側カメラ画像GRのエピポーラ(epipolar line)線EL上に設定した探索範囲GS内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像GLの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、SADアルゴリズム(Sum of Absolute Difference)を採用している。すなわち、前記左側カメラ画像GLに設定されたテンプレート画像GTと、マッチングを行う右側カメラ画像GR内の画像との間で対応する画素間の輝度差の合計値(SAD値)を次式(1)により算出して、この合計値が所定値以下である場合には対応する画素(対応点)が検出されたものとして、その画像面上での座標を記憶する。尚、前記マッチングに使用するアルゴリズムは、SADアルゴリズムに限ったものではなく、例えば、SSD(Sum of Squared Difference)アルゴリズムや、NCC(Normalized Cross Correlation)アルゴリズムを使用するようにしてもよい。なお、以後、対応する画素のことを対応点という。
【0035】
【数1】
ML:左側画像の画素の輝度値
MR:右側画像の画素の輝度値
【0036】
ステップS3〜S5では、ステップS2で検出された各対応点の三次元位置情を算出する。
【0037】
すなわち、ステップS3では、ステップS2で検出された各対応点について、自車両1からの車体前後方向距離Lziを、左右のカメラ画像GL,GR間での対応点の位置ずれ量(視差)を基に三角測量の原理によって算出する。なお、自車両1からの車体前後方向距離Lzi(以下、前後方向距離Lziという)は、カメラ11L,11Rの焦点位置からの距離である。図5は、ステップS2で検出された各対応点を、左側カメラ画像GLの対応点を構成する画素位置(座標位置)に、その前後方向距離Lzに応じた濃度で図示したものであり、道路側壁や自車両1の前方の車両や、路面の一部等が濃淡であらわれている。なお、この図4は、対応点の検出結果を視覚的に把握しやすいように一例として表示したものであり、本制御の処理中にこれらのものが表示されるわけではない。
【0038】
ステップS4では、ステップS2で検出された各対応点について、自車両1の車幅中心からの距離Lxi(以下、車幅方向距離Lxiという)を算出する。この距離Lxiは、対応点の前後方向距離Lzi及び座標に基づいて算出される。
【0039】
ステップS5では、ステップS2で検出された各対応点の路面からの上下方向距離Lyi(路面からの高さ)を算出する。なお、この上下方向距離Lyiは、対応点の座標(x,y)、カメラ11L,11Rの路面からの高さ、及びカメラ11L,11Rの光軸方向等に基づいて算出される。
【0040】
ステップS6では、ステップS5で検出された上下方向距離Lyiが所定値以上(例えば10cm)の対応点を抽出する。こうすることにより、対応点のうち、路面や、該路面上の比較的小さな物体等を構成する対応点が除外され、図3における道路側壁や車両等、比較的背の高い物体についての対応点のみが抽出されることとなる。
【0041】
ステップS7では、ステップS6で抽出された各対応点のうち、本車両1から所定距離m1,m2,m3,…(複数設定されている)に位置する対応点を抽出し、この抽出した対応点を、図6に示すように、ステップS3,S4で算出された各対応点の前後方向距離Lzi及び車幅方向距離Lziに基づいて、車体前後方向(Z方向)と車幅方向(X方向)とで規定される平面(以下、この平面をマッピング平面という)上にマッピングする。ここで、所定距離m1,m2,m3,…に位置する対応点のみを抽出する理由については後述する近距離点列の抽出の説明にあわせて説明する。
【0042】
ステップS8では、前記マッピング平面上に近距離点列抽出領域を設定する。この近距離点列抽出領域は、車両1からの前後方向距離が所定前後距離Lzn以下、車幅方向距離が所定車幅距離Lxn以上の領域に設定される。その場合に、所定車幅距離Lxnは一定値だが、所定前後距離Lynは照度センサ12で検出された照度に基づいて設定されるようになっている。詳しくは、図7に示すように、照度センサ12で検出された照度が小さくなるほど、すなわち暗くなるほど、所定前後距離Lznが小さくされる。
【0043】
ステップS9では、これらのマッピングした対応点のうち、近距離点列抽出領域に属する対応点の中から、略車体前後方向に連続して並ぶ点の列を近距離点列として抽出する。
【0044】
この近距離点列抽出について図8を用いてその一例について説明すると、まず、自車両1からの前後方向距離Lziが最も小さい点P1とその次に距離が小さい点P2とを結んだ線L1の車体前後方向(Z方向)に対してなす角度θ1が、所定角度θ0よりも小さいか否かを判定し、小さくない場合は、点P1をP2に対して略車体前後方向に連続して並ぶ点とし、記憶部に記憶する。次に、前記点P2と自車両1からの距離が次に小さい点P3とを結んだ線L2の前記線L1に対してなす角度θ2が、前記所定角度θ0よりも小さいか否かを判定し、小さい場合は、点P3を点P2に対して略車体前後方向に連続して並ぶ点とし、記憶部に記憶する。次に、前記点P3と自車両1からの距離が次に小さい点P4とを結んだ線L3の前記線L2に対してなす角度θ3が、前記所定角度θ0よりも小さいか否かを判定する。そして、図8の場合においては、小さくないので、点P4については点P3に対して略車体前後方向に連続して並ぶ点とはしない。すなわち、近距離点列抽出領域に属する点について、略車体前後方向に並ばない点が検出されるまで、自車両1からの距離が小さい点から順に、前述のような処理を繰り返す。
【0045】
ここで、前記ステップS7において所定距離m1,m2,m3,…に位置する対応点のみを抽出する理由について説明する。すなわち、近距離点列抽出領域内の全対応点を近距離点列の検討対象とすると、図4のように画素が格子状に配置されている場合、隣接する対応点間においては、角度θnは、車体前後方向(Z方向)と、該方向に対して略45度方向との2つしか存在しなくなり、略車体前後方向に並ぶか否かの判定が実質的にできない。そこで、角度θnを精度よく判定可能なように、所定距離m1,m2,m3,…に位置する対応点のみを抽出するようにしている。また、このように間引くことにより、演算量を削減することもできる。
【0046】
次に、ステップS10では、ステップS8で検出された略車体前後方向に連続して並ぶ点の総数が、所定数α以上か否かを判定する。ステップS9で略車体前後方向に連続して並ぶ点が検出されたとしても、点の総数が少ないときは、これらの点が側壁やガードレール等の略車体前後方向に延びる連続物体を構成する点でなく、他の物体を構成する点であると考えられるので、どちらの物体の可能性が高いかを判定するのである。
【0047】
そして、この点の総数が所定数α以上のときは(YES)、これらの複数の点を、略車体前後方向に連続して並ぶ近距離点列として記憶部に記憶し、ステップS11に進む。一方、所定数α未満のときは(NO)、近距離点列と認めず、ENDに進む。
【0048】
ステップS11では、この近距離点列に基づいて、図9に示すように、前記マッピング平面上において、前記所定前後距離Lzn位置よりも前方に延び、前記近距離点列に対応する近似曲線C1を重回帰分析により導出する。本実施の形態においては、近似曲線C1は式2に示す二次関数により定める。その場合に、その係数a,b,cは、ステップS8で検出された近距離点列を構成する複数の点の座標値(xi,zi)を式2に代入して最小二乗法により求める。なお、近似式は、式3に示す三次関数により定めてもよく、この場合、二次関数の場合同様、その係数a,b,c,dは最小二乗法により求めればよい。また、二次関数、三次関数以外にも、適切に近似しうる関数を適用してもよい。
【数2】
【数3】
【0049】
ステップS12では、図10に示すように、前後方向距離Lziが所定前後距離Lznよりも大きい点のうち、前記近似曲線C1との間の車幅方向の距離が所定車幅距離Lx0以内にある点を、前記近距離点列に連続する遠距離側の点として抽出する。詳しくは、前後方向距離Lziが所定前後距離Lzn以上の各点について、近似曲線C1との間の車幅方向の距離を全て算出し、その距離が所定車幅距離Lx0以内か否かを各点について判定し、所定車幅距離Lx0以内と判定された点を抽出し、この抽出された点を遠距離側の点として記憶する。なお、本実施の形態においては、連続物体及び障害物の推定精度(検出精度)をさらに向上させるために、ステップS13以下において、抽出された遠距離側の点を利用して、再度、近似曲線を導出するが、本ステップS12までに抽出されたこれらの近距離点列及び遠距離側の点を、車体前後方向に延びる連続物体として推定することも可能である。
【0050】
ステップS13では、図11に示すように、前記マッピング平面上において、前述のようにして抽出された近距離点列及び遠距点側の点の両方に基づいて、これらの点に対応する近似曲線C2を重回帰分析により導出する。なお、これは、ステップS11同様に行えばよい。
【0051】
ステップS14では、図12に示すように、自車両1からの前後方向距離Lziが所定前後距離Lzn以上の点のうち、ステップS13において再度算出された近似曲線C2との間の車幅方向の距離が所定車幅距離Lx0以内にある点を、前記近距離点列に連続する遠距離側の点として再抽出する。なお、この処理は、ステップS12同様に行えばよい。
【0052】
ステップS15では、前述のようにして抽出された近距離点列及び遠距離点側の点を略車体前後方向に延びる連続物体と推定する。ここで、この連続物体には、例えば、道路側壁や、ガードレールや、自車両1の側方を走行する大型トラック等が含まれる。
【0053】
ステップS16では、ステップS13において再度算出された近似曲線C2との間の車幅方向の距離が所定車幅距離Lx0以上の点を、自車両1の走行方向に存在する障害物を構成する点と推定する。なお、この場合、所定車幅距離Lx0以上の点のうち、隣接する点との距離が所定距離以内のもの同士をグループ化すれば、障害物が複数存在する場合でも、それらを分離して認識することができる。ここで、本ステップS16における所定車幅距離は、Lx0よりも大きな値としてもよい。
【0054】
そして、ECU100は、このように検出された連続物体及び障害物との位置関係等に応じて、警報装置13から警報音等を発生させる。
【0055】
以上のように、本実施の形態に係る車両用物体検出装置10によれば、カメラ11L,11Rにより自車両1の前方が撮像される。そして、ECU100により、撮像された画像を構成する各点について、該車両1からの前後方向距離Lzi、車幅方向距離Lxi、及び路面からの上下方向距離Lyiが検出され、カメラ11L,11Rで取得された各点の中から、前記上下方向距離Lyiに基づいて、路面上の物体を構成する点が抽出され、この抽出された点が、前後方向距離Lzi及び車幅方向距離Lxiに基づいて、図6に示すように、車体前後方向(z方向)と車幅方向(x方向)とで規定されるマッピング平面上にマッピングされる。
【0056】
そして、本実施の形態においては、マッピングされた点のうち、前後方向距離Lziが所定前後距離Lzn以下で、かつ略車体前後方向に並ぶ近距離点列が抽出され、この抽出された近距離点列に基づいて、該近距離点列よりも前方まで延び、該点列に対応する近似曲線C1が導出される。そして、マッピングされた点のうち、前後方向距離Lziが所定前後距離Lznよりも大きく、かつ近似曲線C1との間の車幅方向の距離が所定車幅距離Lx0以下の点が、近距離点列に連続する遠距離側の点として抽出される。そして、これらの近距離点列及び遠距離側の点が、車体前後方向に延びる連続物体として推定される。すなわち、連続物体における遠方の部分を、精度よく検出可能な近くに存在する部分から精度よく推定することができる。なお、この連続物体としては、例えば大型トラックや道路側壁、ガードレール等がある。
【0057】
また、マッピングされた点のうち、近似曲線C2との間の車幅方向の距離が前記所定車幅距離Lx0よりも大きい点が、自車両1の前方に存在する障害物として推定(検出)される。すなわち、連続物体以外に障害物等が存在している場合でも、該障害物を精度よく推定(検出)することができる。
【0058】
また、近似曲線C1,C2は、近距離点列を重回帰分析することにより導出される。したがって、近似曲線C1,C2を精度よく導出することができる。
【0059】
また、近距離点列を抽出する場合に、略車体前後方向に所定数α以上並んでいることを条件として、近距離点列として抽出される。その場合に、所定数αを、例えば乗用車等を除外可能な数とすれば、例えば大型トラックや道路側壁、ガードレール等の車体前後方向に延びる連続物体を精度よく検出することができる。
【0060】
また、車幅中心からの距離Lxiが所定車幅距離Lxn(所定値)以上の点の中から近距離点列が抽出される。したがって、例えば車幅方向中央付近に乗用車等の車両が存在する場合でも、該車両を連続物体として検出するのが防止される。すなわち、道路側壁や、ガードレールや、大型トラック等、車体の側方において前後に延びる連続物体に対応する近距離点列を精度よく検出することができる。
【0061】
また、一般に、車両前方が暗くなるほど、カメラ11L,11Rにより取得された画像中にノイズ成分が増加するが、本実施の形態においては、車両前方の明るさが照度センサ12により検出され、暗くなるほど、前記所定前後距離Lznが小さくされる。したがって、例えば車両前方が暗くなってきても、近距離点列の抽出精度が大きく低下するのが防止されることとなる。
【0062】
ここで、ECU100による各ステップの処理と特許請求の範囲との対応について説明しておくと、ステップS3〜S5は三次元位置情報検出手段に対応し、ステップS6は物体構成点検出手段に対応しステップS7はマッピング手段に対応し、ステップS8は所定前後距離変更手段に対応し、ステップS9は近距離点列抽出手段に対応し、ステップS10は近距離点列抽出手段に対応し、ステップS11は近似曲線導出手段に対応し、ステップS12は遠距離点抽出手段に対応し、ステップS13は近似曲線導出手段に対応し、ステップS14は遠距離点抽出手段に対応し、ステップS15は連続物体推定手段に対応し、ステップS16は障害物推定手段に対応する。
【0063】
なお、図13に示すように、自車両1からの前後方向距離が所定前後距離Lznよりも大きい位置、すなわち近距離点列抽出領域よりも前方の位置においても、近距離点列に連続する点の列が存在する場合がある。そこで、これらの点の列を近距離点列に連続する点の列として検出し、この点列を含めて近似曲線C1′を導出するようにしてもよい。こうすることにより、近似曲線導出のための点数が増加することとなり、近似曲線の導出精度が向上する。なお、遠距離側の点は、近距離点列に連続する前記点の列のよりも前方に位置する点の中から抽出すればよい。なお、この構成は、特許請求の範囲における請求項7の構成に対応する。
【産業上の利用可能性】
【0064】
本発明は、遠方まで連続する連続物体を精度よく検出可能な車両用物体検出装置を提供することでき、自動車産業に広く利用することができる。
【図面の簡単な説明】
【0065】
【図1】本発明の実施形態に係る車両用物体検出装置が搭載された自動車の概略模式図である。
【図2】カメラにより撮像された画像の例である。
【図3】本車両用物体検出装置のECUによる制御を示すフローチャートの一例である。
【図4】対応点検索に用いられるArea−based matching手法の説明図である。
【図5】対応点として検出された画素を該対応点の前方距離に応じた濃度で表示して視覚化した画像である。
【図6】本ECUによる連続物体の検出制御の説明図である(その1。車体前後方向と車幅方向とで規定されるマッピング平面上に対応点をマッピングした状態を示している)。
【図7】近距離点列抽出領域の所定前後距離と照度との関係を示す特性図である。
【図8】本ECUによる近距離点列抽出の説明図である。
【図9】本ECUによる連続物体の検出制御の説明図である(その2)。
【図10】同検出制御の説明図である(その3)。
【図11】同検出制御の説明図である(その4)。
【図12】同検出制御の説明図である(その5)。
【図13】本ECUによる連続物体の検出制御のその他の例の説明図である。
【符号の説明】
【0066】
1 車両
10 車両用物体検出装置
11L,11R カメラ(撮像手段)
12 照度センサ(明るさ検出手段)
13 警報装置
100 ECU(三次元位置検出手段、物体構成点抽出手段、マッピング手段、近距離点列抽出手段、近似曲線導出手段、遠距離点抽出手段、連続物体推定手段、障害物推定手段、所定前後距離変更手段)
Lzn 所定前後距離
Lxn 所定車幅距離(第3所定車幅距離)
Lx0 所定車幅距離(所定車幅距離、第2所定車幅距離)
【特許請求の範囲】
【請求項1】
車両前方の物体を検出する車両用物体検出装置であって、
車両前方を撮像する撮像手段と、
該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、
前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、
該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された車両からの前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、
該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列を抽出する近距離点列抽出手段と、
前記マッピング平面上において、該近距離点列抽出手段で抽出された点列に基づいて、前記所定前後距離位置よりも前方まで延び、該点列に対応する近似曲線を導出する近似曲線導出手段と、
前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点を、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出する遠距離点抽出手段と、
前記近距離点列抽出手段で抽出された近距離点列及び前記遠距離点抽出手段で抽出された遠距離側の点を、略車体前後方向に延びる連続物体と推定する連続物体推定手段とを有していることを特徴とする車両用物体検出装置。
【請求項2】
前記請求項1に記載の車両用物体検出装置において、
前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点を、車両前方に存在する障害物と推定する障害物推定手段を有していることを特徴とする車両用物体検出装置。
【請求項3】
前記請求項1または請求項2に記載の車両用物体検出装置において、
前記近似曲線導出手段は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより、近似曲線を導出することを特徴とする車両用物体検出装置。
【請求項4】
前記請求項1から請求項3のいずれか1項に記載の車両用物体検出装置において、
前記近距離点列抽出手段は、略車体前後方向に所定数以上連続して並ぶ点の列を近距離点列とすることを特徴とする車両用物体検出装置。
【請求項5】
前記請求項1から請求項4のいずれか1項に記載の車両用物体検出装置において、
前記三次元位置情報検出手段は、車幅方向距離として当該車両の車幅中心からの距離を検出し、
前記近距離点列抽出手段は、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車幅中心からの距離が第3所定車幅距離以上の点を近距離点列として抽出することを特徴とする車両用物体検出装置。
【請求項6】
前記請求項1から請求項5のいずれか1項に記載の車両用物体検出装置において、
車両前方の明るさを検出する明るさ検出手段と、
該明るさ検出手段で検出された明るさが暗いほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離を小さくする所定前後距離変更手段とが備えられていることを特徴とする車両用物体検出装置。
【請求項7】
前記請求項1から請求項6のいずれか1項に記載の車両用物体検出装置において、
前記近距離点列抽出手段は、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列を抽出するように構成されており、
前記近似曲線導出手段は、前記所定前後距離位置よりも前方に前記近距離点列に略車体前後方向に連続して並ぶ点の列が存在するときは、この点の列を含めて近似曲線を導出し、
前記遠距離点抽出手段は、この点の列よりも前方の点の中から遠距離側の点を抽出することを特徴とする車両用物体検出装置。
【請求項1】
車両前方の物体を検出する車両用物体検出装置であって、
車両前方を撮像する撮像手段と、
該撮像手段で撮像された画像を構成する各点について、該車両からの前後方向距離、車幅方向距離、及び路面からの上下方向距離をそれぞれ検出する三次元位置情報検出手段と、
前記撮像手段で取得された各点の中から、該三次元位置情報検出手段で検出された路面からの上下方向距離に基づいて、路面上の物体を構成する点を抽出する物体構成点抽出手段と、
該物体構成点抽出手段で抽出された点を、前記三次元位置情報検出手段で検出された車両からの前後方向距離及び車幅方向距離に基づいて、車体前後方向と車幅方向とで規定されるマッピング平面上にマッピングするマッピング手段と、
該マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離以下で、かつ略車体前後方向に連続して並ぶ点の列を抽出する近距離点列抽出手段と、
前記マッピング平面上において、該近距離点列抽出手段で抽出された点列に基づいて、前記所定前後距離位置よりも前方まで延び、該点列に対応する近似曲線を導出する近似曲線導出手段と、
前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車両からの前後方向距離が所定前後距離よりも大きく、かつ前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が所定車幅距離以下の点を、前記近距離点列抽出手段で抽出された近距離点列に連続する遠距離側の点として抽出する遠距離点抽出手段と、
前記近距離点列抽出手段で抽出された近距離点列及び前記遠距離点抽出手段で抽出された遠距離側の点を、略車体前後方向に延びる連続物体と推定する連続物体推定手段とを有していることを特徴とする車両用物体検出装置。
【請求項2】
前記請求項1に記載の車両用物体検出装置において、
前記マッピング手段によりマッピングされた点のうち、前記近似曲線導出手段で導出された近似曲線との間の車幅方向の距離が前記所定車幅距離以上の第2所定車幅距離よりも大きい点を、車両前方に存在する障害物と推定する障害物推定手段を有していることを特徴とする車両用物体検出装置。
【請求項3】
前記請求項1または請求項2に記載の車両用物体検出装置において、
前記近似曲線導出手段は、近距離点列抽出手段で抽出された近距離点列を重回帰分析することにより、近似曲線を導出することを特徴とする車両用物体検出装置。
【請求項4】
前記請求項1から請求項3のいずれか1項に記載の車両用物体検出装置において、
前記近距離点列抽出手段は、略車体前後方向に所定数以上連続して並ぶ点の列を近距離点列とすることを特徴とする車両用物体検出装置。
【請求項5】
前記請求項1から請求項4のいずれか1項に記載の車両用物体検出装置において、
前記三次元位置情報検出手段は、車幅方向距離として当該車両の車幅中心からの距離を検出し、
前記近距離点列抽出手段は、前記マッピング手段によりマッピングされた点のうち、前記三次元位置情報検出手段で検出された車幅中心からの距離が第3所定車幅距離以上の点を近距離点列として抽出することを特徴とする車両用物体検出装置。
【請求項6】
前記請求項1から請求項5のいずれか1項に記載の車両用物体検出装置において、
車両前方の明るさを検出する明るさ検出手段と、
該明るさ検出手段で検出された明るさが暗いほど、前記近距離点列抽出手段及び遠距離点抽出手段における前記所定前後距離を小さくする所定前後距離変更手段とが備えられていることを特徴とする車両用物体検出装置。
【請求項7】
前記請求項1から請求項6のいずれか1項に記載の車両用物体検出装置において、
前記近距離点列抽出手段は、前記所定前後距離位置よりも前方において、近距離点列に略車体前後方向に連続して並ぶ点の列を抽出するように構成されており、
前記近似曲線導出手段は、前記所定前後距離位置よりも前方に前記近距離点列に略車体前後方向に連続して並ぶ点の列が存在するときは、この点の列を含めて近似曲線を導出し、
前記遠距離点抽出手段は、この点の列よりも前方の点の中から遠距離側の点を抽出することを特徴とする車両用物体検出装置。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図5】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図5】
【公開番号】特開2009−186301(P2009−186301A)
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願番号】特願2008−25948(P2008−25948)
【出願日】平成20年2月6日(2008.2.6)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願日】平成20年2月6日(2008.2.6)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
[ Back to top ]