車両の周辺監視装置
【課題】複数の撮像手段を介して取得される画像から車両周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減して、対象物を精度良く検出することができる車両の周辺監視装置を提供する。
【解決手段】車両10に搭載された撮像手段2R,2Lを介して取得した画像から、車両10の周辺に存在する対象物を検出する。撮像手段2R,2Lを介して取得された画像のうちの所定の基準画像に対して、対象物を抽出する処理を実行する対象物抽出手段1と、車両10の走行環境を検出する走行環境検出手段1と、検出された走行環境に応じて対象物抽出手段1の処理で使用する基準画像を新たに選択する基準画像選択手段1とを備える。
【解決手段】車両10に搭載された撮像手段2R,2Lを介して取得した画像から、車両10の周辺に存在する対象物を検出する。撮像手段2R,2Lを介して取得された画像のうちの所定の基準画像に対して、対象物を抽出する処理を実行する対象物抽出手段1と、車両10の走行環境を検出する走行環境検出手段1と、検出された走行環境に応じて対象物抽出手段1の処理で使用する基準画像を新たに選択する基準画像選択手段1とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載された複数のカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する対象物を検出する車両の周辺監視装置に関する。
【背景技術】
【0002】
近年、車両に複数のCCDカメラ等の撮像手段を搭載して周辺を撮像し、複数の撮像手段から得られる画像のずれ(視差)に基づいて、車両の周辺に存在する歩行者等の対象物と車両との距離を検出し、検出した結果に基づいて衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている(例えば特許文献1参照)。
【0003】
特許文献1の車両の周辺監視装置においては、2つの赤外線カメラで構成されたステレオカメラが車両に搭載され、ステレオカメラの右カメラから得られた画像(右画像)が基準画像とされる。前記車両の周辺監視装置は、この基準画像に対して、輝度が所定閾値以上の領域を「1」(白)、所定閾値未満の領域を「0」(黒)とする2値化処理を行い、2値化画像にラベリング処理等を施して、車両の周辺に存在する対象物を抽出する。そして、前記車両の周辺監視装置は、左カメラから得られた画像(左画像)中から、基準画像で抽出された各対象物に対応する対象物を探索し、基準画像中の対象物と左画像中の該対象物に対応する対象物との視差から、該対象物の車両に対する位置を検出する。
【0004】
しかしながら、車両の周辺には、歩行者等の検出の目的である対象物(検出対象物)の他に、例えば建物や塀等のような、検出対象物以外のもの(背景対象物)が存在する場合がある。この場合に、車両に搭載された撮像手段から周辺を撮像すると、検出対象物と共に、これらの背景対象物が背景として撮像される。このため、撮像された画像に2値化処理を行い対象物を抽出した際には、検出対象物に相当する領域の他に、背景対象物に相当する領域も抽出される。
【0005】
そして、特許文献1の車両の周辺監視装置において、例えば、右カメラから見て検出対象物と背景対象物とが直線上に位置する場合には、検出対象物と背景対象物とが基準画像上で重なった状態で抽出される。このため、検出対象物に相当する領域と背景対象物に相当する領域とを基準画像上で分離できず、対象物を適切に抽出することができないこととなる。よって、このような場合には、抽出された対象物に対応する対象物が探索できなかったり、視差が正しく得られなかったりして、対象物の車両に対する位置が適切に検出できないという不都合があった。
【特許文献1】特開2001−6096号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、かかる不都合を解消し、複数の撮像手段を介して取得される画像から車両周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減して、対象物を精度良く検出することができる車両の周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
かかる目的を達成するために、本発明の第1態様の車両の周辺監視装置は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、前記車両の走行環境を検出する走行環境検出手段と、前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから、前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備えることを特徴とする。
【0008】
前記本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段は、車両に搭載された複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する。なお、この処理により抽出された対象物に基づいて、車両の周辺に存在する対象物が検出される。ここで、車両に搭載された複数の撮像手段を介して取得した画像には、歩行者等の検出対象物の他に、例えば道路周辺の建物や塀等の背景対象物が撮像される場合がある。この場合に、撮像された背景対象物は、画像に対して例えば2値化処理等の対象物を抽出する処理を実行した際に、検出対象物と共に抽出される。
【0009】
このとき、画像上での検出対象物と背景対象物との位置関係は、実空間上での各撮像手段に対する検出対象物と背景対象物との位置関係に応じて定まる。特に、実空間で撮像手段と検出対象物と背景対象物とが直線上に位置する場合には、該撮像手段を介して取得された画像上で、検出対象物と背景対象物とが重なって撮像される。そして、画像上で検出対象物と背景対象物とが重なって撮像されていると、該画像に対して対象物を抽出する処理を実行した際に、検出対象物と背景対象物とを該画像上で分離し難くなる。
【0010】
そこで、前記走行環境検出手段は、前記車両の走行環境を検出する。ここで、車両の走行環境とは、車両に搭載された撮像手段を介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。この検出された車両の走行環境により、車両周辺における背景対象物の分布が推測できるので、各撮像手段を介して取得された画像内で、検出対象物と背景対象物とが重なる可能性が判る。よって、前記基準画像選択手段は、前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから基準画像を選択することで、画像上で検出対象物と背景対象物とが重なる可能性の低い画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0011】
このように、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段により、所定の基準画像に対して前記対象物を抽出する処理を実行する際に、検出対象物と背景対象物とが基準画像上で分離され、対象物の抽出精度が向上する。よって、本発明によれば、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。
【0012】
さらに、前記本発明の第1態様の車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する位置検出手段を備えることが好ましい。
【0013】
これによれば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する。具体的には、例えば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像のうちの、前記基準画像以外の画像(参照画像)上で、該基準画像から前記対象物抽出手段により抽出された対象物に対応する対象物を探索する。そして、前記位置検出手段は、前記基準画像内での前記対象物の位置と、前記参照画像内での該対象物の位置とのずれである視差を算出し、算出した視差に基づいて該対象物の前記車両に対する位置を検出する。このとき、本発明によれば、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上しており、前記位置検出手段により、対象物の位置を精度良く検出することができる。
【0014】
また、前記本発明の第1態様の車両の周辺監視装置において、前記車両が存在する道路に、複数の車線が設けられている場合に、前記走行環境検出手段は、前記走行環境として、前記車両が存在する道路の路側を検出し、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することが好ましい。
【0015】
これによれば、前記走行環境検出手段により、前記走行環境として、前記車両が存在する道路の路側が検出される。例えば、日本のように交通法規上で通行区分が左側通行であるときに、1方向に1車線ずつ設けられた2車線の道路の場合には、車両の右側が対向車線であり、車両の左側が道路の路側であるというような、路側の車両に対する位置関係が検出される。なお、道路の路側には、一般的に、歩行者が通行する歩道や路側帯等が設けられている。
【0016】
このとき、画像上の路側が撮像されている領域には、路側周辺の建物や塀等の背景対象物が撮像される。よって、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合には、画像上の対向車線が撮像されている領域に、検出対象物が撮像されている場合よりも、検出対象物と背景対象物とが画像上で重なる可能性が高くなると考えられる。
【0017】
そして、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、路側周辺の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物が、検出対象物の背景として重なって撮像される。このとき、路側に近い側に配置された撮像手段と検出対象物とを結ぶ直線の方が、路側に遠い側に配置された撮像手段と検出対象物とを結ぶ直線より、撮像手段の光軸との成す角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、路側周辺のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、さらに、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、路側から遠い撮像手段から撮像された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が高いと想定される。
【0018】
そこで、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。
【0019】
さらに、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記車両の乗員から道路の路側に関する情報が入力される入力手段を備え、前記走行環境検出手段は、前記入力手段に入力された道路の路側に関する情報に基づいて、前記車両が存在する道路の路側を検出することが好ましい。
【0020】
これによれば、車両の乗員から、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が入力されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0021】
または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記車両は車両用ナビゲーション装置を備え、前記走行環境検出手段は、前記車両用ナビゲーション装置を介して取得した道路の路側に関する情報に基づいて、該車両が存在する道路の路側を検出することが好ましい。
【0022】
これによれば、前記車両用ナビゲーション装置を介して、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が取得されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0023】
または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する相対速度算出手段を備え、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から前記車両に対向して走行する他車両(車両と逆向きに走行する他車両)を選定し、選定した該他車両の位置に基づいて、該車両が存在する道路の路側を検出することが好ましい。
【0024】
これによれば、前記相対速度算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する。前記対象物を抽出する処理は、例えば2値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0025】
このとき、車両に対向して走行する他車両(対向車)は、一般的に、歩行者や道路周辺の静止物(建物や塀等)よりも、車両に接近する速度が大きい。よって、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から対向車を選定することができる。そして、選定された対向車の位置から対向車線の車両に対する位置関係が判るので、前記走行環境検出手段は、選定した対向車の位置に基づいて該対向車線の反対側である路側を検出することができる。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0026】
また、前記本発明の第1態様の車両の周辺監視装置において、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合に、前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲を検出し、前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することをが好ましい。
【0027】
これによれば、前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲を検出する。このとき、画像上の前記対象物以外のものがより多い範囲が撮像されている領域に、検出対象物が撮像されている場合には、検出対象物と背景対象物とが画像上で重なる可能性が高くなる。
【0028】
そして、画像上の前記範囲が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、前記範囲内の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物(背景対象物)が、検出対象物の背景として重なって撮像される。このとき、前記範囲の側に配置された撮像手段と検出対象物とを結ぶ直線の方が、該範囲の反対側に配置された撮像手段と検出対象物とを結ぶ直線より、撮像手段の光軸との成す角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、前記範囲内のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、さらに、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、前記範囲の反対側に配置された撮像手段を介して取得された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が高いと想定される。
【0029】
そこで、前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。
【0030】
なお、例えば、前記車両が存在する道路に複数の車線が設けられている場合に、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲は、道路周辺の建物や塀等が含まれる、道路の路側が位置する側の範囲であり、前記対象物以外のものが少ない範囲は、そのほとんどが路面で占められる、対向車線が位置する側の範囲であると考えられる。よって、この場合には、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段は、より路側に近い撮像手段となる。
【0031】
さらに、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合における本発明の第1態様の車両の周辺監視装置において、前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することが好ましい。
【0032】
これによれば、前記領域抽出手段は、前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する。ここで、前記抽出される領域は、前記対象物に相当する領域である。前記対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0033】
このとき、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定する。この決定された領域は、画像上で前記対象物がより多い領域であるので、この領域に対応する車両前方の範囲は、前記対象物がより多い範囲であると考えられる。よって、前記走行環境検出手段により、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出し、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。
【0034】
または、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合における本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する距離算出手段を備え、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することが好ましい。
【0035】
これによれば、前記距離算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する。前記対象物を抽出する処理は、例えば2値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0036】
このとき、車両前方の所定距離内に含まれる前記抽出された対象物が多い場合には、検出対象物と重なって撮像される可能性の高い背景対象物が多いと想定される。そこで、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出する。そして、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。
【0037】
一方、車両が走行される国の交通法規上の通行区分により、路側の車両に対する位置関係は予め判るので、道路の路側に最も近い撮像手段を、所定の撮像手段として予め設定することが可能である。そこで、本発明の第2態様の車両の周辺監視装置は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、前記複数の撮像手段のうちの、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する基準画像選択手段とを備えることを特徴とする。
【0038】
これによれば、前記基準画像選択手段により、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、本発明の第1態様の車両の周辺監視装置と同様に、基準画像上で検出対象物と背景対象物とが重なる可能性が低減される。よって、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上されるので、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。
【発明を実施するための最良の形態】
【0039】
本発明の一実施形態を添付の図面を参照して説明する。まず、本発明の第1実施形態を図1〜図11を参照して説明する。図1は、本発明の第1実施形態による車両の周辺監視装置の機能ブロック図であり、図2は、車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図であり、図3は、図1の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャートである。また、図4〜図6は、図3の対象物検出・警報動作における処理画像の例示図であり、図7〜8は、図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図であり、図9は、図3の対象物検出・警報動作における視差を算出する処理に関する説明図である。また、図10〜図11は、図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図である。なお、本実施形態は、本発明の第1態様の車両の周辺監視装置に相当する。
【0040】
図1,2を参照して、本実施形態の車両の周辺監視装置は、該周辺監視装置を制御するCPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、車両10に搭載された、2つの赤外線カメラ2R,2Lと、車両10のヨーレートを検出するヨーレートセンサ3と、車両10の走行速度(車速)を検出する車速センサ4と、車両10のブレーキの操作を検出するためのブレーキセンサ5とが接続されている。
【0041】
また、画像処理ユニット1には、周辺監視装置に備えられた、音声で警報を発するためのスピーカ6と、赤外線カメラ2R,2Lを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための画像表示装置7とが接続されている。画像表示装置7には、例えば、車両10の走行状態を数字で表すメータと一体化されたメータ一体ディスプレイや、車両10のコンソールに設置されるナビゲーション用ディスプレイや、車両10のフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(ヘッドアップディスプレイ、Head Up Display)7a等が含まれる。
【0042】
また、画像処理ユニット1には、周辺監視装置に備えられた、車両10の乗員から道路の路側に関する情報が入力される入力手段(図示せず)が接続されている。入力手段に入力される道路の路側に関する情報は、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報である。
【0043】
画像処理ユニット1は、詳細の図示は省略するが、入力アナログ信号をディジタル信号に変換するA/D変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うCPU(中央演算装置)と、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)と、CPUが実行するプログラム、テーブル、マップ等を記憶するROM(Read Only Memory)と、スピーカ6の駆動信号やHUD7a等の表示信号等を出力する出力回路とを備えている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0044】
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の複数の(本実施形態においては2つの)撮像手段に相当する。
【0045】
図2に示すように、赤外線カメラ2R,2Lは、車両10の前部の右側及び左側に、車両10の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ2R,2Lは、2つの2つの赤外線カメラ2R,2Lの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように車両10に固定されている。また、HUD7aは、車両10のフロントウィンドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0046】
さらに、画像処理ユニット1は、その機能として、取得された画像のうちの所定の基準画像に対して対象物を抽出する処理を実行する対象物抽出手段と、抽出された対象物の車両10に対する位置を検出する位置検出手段と、車両10の走行環境を検出する走行環境検出手段と、検出された走行環境に応じて該基準画像を選択する基準画像選択手段とを備えている。
【0047】
対象物抽出手段は、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理を実行する。そして、位置検出手段は、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて、対象物の車両10に対する位置を検出する。なお、対象物を抽出して位置を検出する具体的な手法としては、例えば、上述の特許文献1に記載したような手法を用いることができる。
【0048】
走行環境検出手段は、車両10の乗員から入力手段に入力された道路の路側に関する情報に基づいて、車両10の走行環境として、車両10が存在する道路の路側を検出する。なお、ここで、車両の走行環境とは、車両10に搭載された赤外線カメラ2R,2Lを介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。また、本実施形態の説明では、車両10が存在する道路には、複数の車線が設けられているものとする。
【0049】
基準画像選択手段は、走行環境検出手段により検出された走行環境に応じて、赤外線カメラ2R,2Lを介して取得された画像(グレースケール画像)のうちから、対象物抽出手段の処理に使用する基準画像を新たに選択する。このとき、基準画像選択手段は、赤外線カメラ2R,2Lのうちの、走行環境検出手段により検出された道路の路側に最も近い赤外線カメラを介して取得された画像を、基準画像として選択する。
【0050】
なお、本実施形態において、検出対象物(検出の目的である対象物)は、例えば、歩行者、大型動物、他車両等の、車両10の周辺に存在する動く物体である。また、背景対象物(検出対象物以外のもの)は、例えば、道路の路側の脇に存在する建物、塀、電柱等の、車両10から検出対象物を撮像した際に、検出対象物の背景として重なって撮像される可能性を有するような、車両10の走行する道路の周辺の静止物である。
【0051】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を、図3に示したフローチャートに従って説明する。図3を参照して、まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP001)、A/D変換し(STEP002)、グレースケール画像を画像メモリに格納する(STEP003)。なお、赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。
【0052】
ここで、図4(a),(b)は、それぞれ、赤外線カメラ2R,2Lによって得られる右画像と左画像とを模式的に説明するための図である。図4(a),(b)において、ハッチングを付した領域は、中間階調(グレー)の領域であり、太い実線で囲んだ領域が、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域(以下「高輝度領域」という)である。このように、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0053】
次に、右画像と左画像とのうちから、基準画像を選択する処理が行われる(STEP004)。なお、この処理の詳細については後述する。
【0054】
次に、基準画像に対して、その画像信号を2値化する処理が行われる(STEP005)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。図5に、図4(a)の画像を2値化した画像を示す。図5において、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【0055】
次に、2値化した画像データをランレングスデータに変換する処理が行われる(STEP006)。ランレングスデータにより表されるラインは、2値化により白となった高輝度領域を1次元の連結画素で示したもので、いずれもy方向(縦方向)には1画素の幅を有しており、またx方向(横方向)にはそれぞれランレングスデータを構成する画素の長さを有している。
【0056】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(STEP007)ことにより、対象物を抽出する処理が行われる(STEP008)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、画像内の連結した領域が対象物として把握される。例えば、図4(a)に示す高輝度領域が、図6に示すように、それぞれ枠P1,P2で囲われた対象物(2値化対象物)T1,T2として把握される。
【0057】
次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTが算出される(STEP009)。ここで、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)とすると(ただし、i=0,1,2,...,N−1)、対象物Aの面積Sは、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの中心の座標x[i]又はy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物(N個のランレングスデータ)について積算したものを、面積Sで割ることにより算出する。また、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。なお、重心Gの座標は、対象物の外接四角形の重心の座標で代用してもよい。
【0058】
次に、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物を認識する処理が行われる(STEP010)。時刻間追跡では、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A,Bを抽出したら、時刻(k+1)で抽出した対象物C,Dと対象物A,Bとの同一性判定を行う。同一性判定は、対象物の重心G、面積S、縦横比ASPECT等に基づいて行われる。そして、対象物A,Bと対象物C,Dとがそれぞれ同一であると判定されたら、対象物C,Dをそれぞれ対象物A,Bというラベルに変更することにより、時刻間追跡が行われる(同一対象物が認識される)。また、認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0059】
なお、以上説明したSTEP005〜010の処理は、2値化した基準画像について実行される。
【0060】
次に、車速センサ4により検出される車速VCARと、ヨーレートセンサ3により検出されるヨーレートYRとを読み込み、ヨーレートYRを時間積分することにより、車両10の回頭角θrが算出される(STEP011)。
【0061】
一方、STEP010,011の処理に平行して、STEP012〜015では、対象物と車両10との距離zを算出する処理が行われる。この演算はSTEP010,011より長い時間を要するため、STEP010,011より長い周期(例えばSTEP001〜011の実行周期の3倍程度の周期)で実行される。
【0062】
まず、基準画像の2値化画像によって追跡される対象物の中の1つを選択することにより、基準画像から図7(a)に示すように探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(STEP012)。
【0063】
次に、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP013)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に図7(b)に示すように探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を下記式(1)により算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。
【0064】
【数1】
【0065】
ここで、IR(m,n)は、図8に示す探索画像R1内の座標(m,n)の位置の輝度値であり、IL(a+m−M,b+n−N)は、図8に示す探索領域R2内の座標(a,b)を基点とした、探索画像R1と同一形状の局所領域R3内の座標(m,n)の位置の輝度値である。基点の座標(a,b)を変化させて輝度差分総和値C(a,b)が最小となる位置を求めることにより、対応画像の位置が特定される。
【0066】
なお、この相関演算は、2値画像ではなくグレースケール画像を用いて行う。また、同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2a(図7(b)に破線で示す)を探索領域として設定する。STEP012〜013の処理により、図9(a)に示すような基準画像中の探索画像R1と、図9(b)に示すような参照画像中での対応画像R4とが抽出される。
【0067】
次に、探索画像R1の重心位置と、対応画像R4の重心位置とに基づいて、視差Δd(画素数)が算出される(STEP014)。具体的には、図9(a)に示すように、探索画像R1の重心位置と画像中心線LCTRとの距離dR(画素数)が算出される。また、図9(b)に示すように、対応画像R4の重心位置と画像中心線LCTRとの距離dL(画素数)が算出される。そして、視差Δdが、Δd=dL+dRより算出される。
【0068】
次に、算出した視差Δdを下記式(2)に適用して、車両10と対象物との距離zが算出される(STEP015)。
【0069】
【数2】
【0070】
ここで、Bは基線長、すなわち赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向(X方向)の距離(両カメラの光軸の間隔)、fは赤外線カメラ2R,2Lのレンズの焦点距離、pは赤外線カメラ2R,2Lの撮像素子内の画素間隔である。
【0071】
次に、STEP011における回頭角θrの算出と、STEP015における対象物と車両10との距離zの算出とが完了したら、画像内の座標(x,y)及び距離zを、実空間座標(X,Y,Z)に変換する(STEP016)。ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点の位置(車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像中心を原点として水平方向をx、垂直方向をyと定めている。
【0072】
次に、車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正がを行われる(STEP017)。回頭角補正は、時刻kから(k+1)までの期間中に車両10が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0073】
次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と車両10との相対移動ベクトルに対応する近似値LMVを求める(STEP018)。そして、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の一座標P(N−1)=(X(N−1),Y(N−1),Z(N−1))とを近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))、及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
【0074】
次に、検出した対象物との衝突の可能性を判定する警報判定処理が行われる(STEP019)。警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、及び進入衝突判定処理により、車両10と検出した対象物との衝突の可能性を判定する処理である。なお、接近判定領域内か否かの判定処理は、衝突判定処理において、車両10と検出した対象物との衝突の可能性があると判定された場合に実行される。さらに、進入衝突判定処理は、接近判定領域内か否かの判定処理において、車両10と検出した対象物との衝突の可能性がないと判定された場合に実行される。
【0075】
まず、衝突判定処理は、対象物と車両10とのZ方向の相対速度Vsを求め、両者が相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Tは、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。
【0076】
また、接近判定領域内か否かの判定処理は、赤外線カメラ2R,2Lで監視可能な領域AR0内の、対象物が車両10の車幅αの両側に余裕βを加えた範囲に対応する領域AR1、すなわち対象物がそのまま存在し続ければ車両10との衝突の可能性が極めて高い接近判定領域AR1内に存在するか否かを判定する処理である。
【0077】
さらに、進入衝突判定処理は、上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域AR2,AR3を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域AR1に進入すると共に車両10と衝突するか否かを判定する処理である。
【0078】
STEP019で車両10と検出した対象物との衝突の可能性が判定された場合(STEP019の判定結果がNO)には、警報判定処理を終了し、STEP001に戻り、上述の処理を繰り返す。また、STEP019で車両10と検出した対象物との衝突の可能性があると判定された場合(STEP019の判定結果がYES)には、STEP020の警報出力判定処理へ進む。
【0079】
STEP020では、ブレーキセンサ5の出力BRから車両10の運転者がブレーキ操作を行っているかを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う。STEP020で、車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値Gthより大きいときには、ブレーキ操作により衝突が回避されると判定し、警報出力判定処理を終了し(STEP020の判定結果がNO)、STEP001に戻り、上述の処理を繰り返す。なお、所定閾値Gthは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と車両10との距離Zv(0)以下の走行距離で車両10が停止する条件に対応する値である。
【0080】
一方、車両10の運転者がブレーキ操作を行っている場合において加速度Gsが所定閾値Gth以下であるとき、又は、車両10の運転者がブレーキ操作を行っていない場合には、STEP020の判定結果はYESとなる。この場合は、対象物と接触する可能性が高いので、STEP021へ進み、スピーカ3を介して音声による警報を発する。そして、STEP022へ進み、画像表示装置7に対して、例えば赤外線カメラ2Lにより得られる画像を出力し、接近してくる対象物を強調して車両10の運転者に表示する。
【0081】
なお、本実施形態では、前述したように、画像処理ユニット1が、その機能として、本発明の走行環境検出手段と、基準画像選択手段と、対象物抽出手段と、位置検出手段とを含んでいる。より具体的には、図3のSTEP004が走行環境検出手段、基準画像選択手段に相当し、図3のSTEP005〜STEP008が対象物抽出手段に相当し、図3のSTEP009〜STEP017が位置検出手段に相当する。
【0082】
以上が、本実施形態の車両の周辺監視装置の画像処理ユニット1における対象物検出・警報動作である。これにより、車両10の周辺の赤外線画像と、車両10の走行状態を示す信号とから、車両10の前方の歩行者や動物等の対象物が検出され、衝突の可能性が高いと判断したときに警報が発せられる。
【0083】
次に、図3に示したフローチャートのSTEP004における基準画像を選択する処理について詳細に説明する。
【0084】
まず、画像処理ユニット1の走行環境検出手段により、車両10の乗員から入力手段に入力された路側に関する情報が読み込まれる。これにより、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報が読み込まれる。次に、走行環境検出手段は、走行環境として、路側の車両10に対する位置関係を検出する。例えば、車両10の走行している道路での通行区分は左側通行である場合には、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0085】
次に、画像処理ユニット1の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、路側が車両10の左側であるので、赤外線カメラ2R,2Lのうち、路側に最も近い赤外線カメラは、車両10の左側に配置された赤外線カメラ2Lである。よって、赤外線カメラ2Lを介して取得された左画像が、基準画像として選択される。
【0086】
ここで、基準画像を選択する処理について、図10を参照して説明する。図10には、車両10とその周辺の道路を、車両10の上方側から見た図が模式的に示されている。図10を参照して、車両10は、車線A0を矢示方向に走行している。車両10の右側のセンターラインCLを越えた領域が対向車線A1であり、車両10の左側の領域が路側A2である。車両10の前部に、赤外線カメラ2R,2Lが配置されている。車両10の前方に検出対象物T0が所在し、路側A2には、背景対象物B1,B2が所在する。
【0087】
図10では、実空間座標は図2と同様にとり、検出対象物T0の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X0,Z0)である。背景対象物B1の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X1,Z1)、背景対象物B2の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X2=X1,Z2)である。Bは基線長、すなわち赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向(X方向)の距離(両カメラの光軸の間隔)である。また、図10の例において、X1>X0>Bとなっている。
【0088】
図10において、赤外線カメラ2Rから検出対象物T0を撮像すると、路側A2上の赤外線カメラ2Rと検出対象物T0とを結ぶ直線の延長にある背景対象物B1が、その撮像した画像(右画像)内で、検出対象物T0の背景として撮像される。このとき、検出対象物T0と背景対象物B1とが重なる条件は、X0:X1=Z0:Z1である。また、赤外線カメラ2Lから検出対象物T0を撮像すると、路側A2上の赤外線カメラ2Lと検出対象物T0とを結ぶ直線の延長上にある背景対象物B2が、その撮像した画像(左画像)内で、検出対象物T0の背景として撮像される。このとき、検出対象物T0と背景対象物B2とが重なる条件は、X0−B:X1−B=Z0:Z2である。
【0089】
このとき、赤外線カメラ2L及び検出対象物T0を結ぶ直線とZ軸との成す角θLの方が、赤外線カメラ2R及び検出対象物T0を結ぶ直線とZ軸との成す角θRより小さいので、図10に示すように、背景対象物B2の方が、常に背景対象物B1よりも遠方に存在する。すなわちZ2−Z1>0が常に成立する。そして、遠方に位置する背景対象物B2は画像内で小さく撮像されると共に、物体からの赤外線放射は距離に応じて減衰するため、遠方に位置する背景対象物B2は画像上で撮像され難い。このため、近傍に位置する背景対象物B1の方が、画像上で検出対象物T0と重なって撮像される可能性が高くなる。よって、路側から近い赤外線カメラ2Lから得られた左画像を基準画像として選択することで、基準画像上で検出対象物T0が背景対象物と重なる可能性を低くすることができる。
【0090】
そして、このように基準画像を選択することで、STEP005〜008で基準画像から対象物を抽出した際に、対象物の検出精度を向上することができる。例えば、図10で示したように、車両10の前方に検出対象物T0が所在し、路側A2には背景対象物B1,B2が所在している場合に、赤外線カメラ2R,2Lにより撮像した画像を2値化処理(STEP005)して得られた画像を、図11(a)(b)に示す。なお、図11(a)に、赤外線カメラ2Lから得られた左画像を2値化した画像を例示し、図11(b)に、赤外線カメラ2Rから得られた右画像を2値化した画像を例示する。
【0091】
図11(a)(b)に例示した画像上には、それぞれ、検出対象物T0(歩行者)と背景対象物B1(電柱)とが高輝度領域として抽出されている。一方、背景対象物B2は、遠方に所在するので検出対象物T0、背景対象物B1より輝度が低いため、2値化処理の際に高輝度領域として抽出されていない。このとき、図11(b)においては、検出対象物T0と背景対象物B1とが重なっており、検出対象物T0を分離して抽出できていないが、図11(a)においては、検出対象物T0が独立して抽出できている。よって、図11(a)から対象物を抽出する(STEP006〜008)ことで、検出対象物T0が精度良く抽出される。
【0092】
以上の処理により、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0093】
なお、本実施形態では、入力手段を備え、走行環境検出手段は、入力手段に入力された情報に基づいて走行環境を検出し、基準画像選択手段は、走行環境検出手段により検出された走行環境に基づいて基準画像を選択するものとしている。一方、車両10が走行される国の交通法規上の通行区分により、路側の車両10に対する位置関係は予め判るので、道路の路側に最も近い赤外線カメラを、所定の赤外線カメラとして予め設定することが可能である。そこで、他の実施形態として、入力手段を備えず、基準画像選択手段は、車両10が存在する道路の路側に最も近い所定の赤外線カメラを介して取得された画像を基準画像として選択するものとしてもよい(本発明の第2態様の車両の周辺監視装置に相当する)。
【0094】
また、本実施形態では、画像処理ユニット1の機能として、位置検出手段を備え、対象物抽出手段により抽出された対象物に基づいて、車両10の周辺の対象物の位置が検出され、衝突の可能性が高いと判断したときに警報が発せられるものとしたが、他の実施形態として、位置検出手段を備えず、例えば、画像表示装置7に対して基準画像を出力し、抽出された対象物を強調して車両10の運転者に表示するようにしてもよい。このような場合でも、対象物の抽出精度が向上しているので、車両10の周辺の歩行者等の対象物が適切に強調表示されて運転者に認識される。
【0095】
次に、本発明の第2実施形態を説明する。なお、本実施形態は、第1実施形態において、入力手段を備えず、車両10にナビゲーション装置が搭載されているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0096】
本実施形態では、画像処理ユニット1に、車両10に搭載されたナビゲーション装置が接続されている。そして、画像処理ユニット1の機能である走行環境検出手段は、ナビゲーション装置を介して取得された道路の路側に関する情報に基づいて、走行環境として、車両10が存在する道路の路側を検出する。ナビゲーション装置を介して取得される道路の路側に関する情報は、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報である。なお、第1実施形態と同様に、車両10が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第1実施形態と同じである。
【0097】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における対象物検出処理・警報作動は、第1実施形態と、基準画像を選択する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0098】
図3を参照して、本実施形態のSTEP004では、まず、画像処理ユニット1の走行環境検出手段により、ナビゲーション装置を介して路側に関する情報が取得される。これにより、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報が取得される。次に、走行環境検出手段は、走行環境として、路側の車両10に対する位置関係を検出する。例えば、車両10の存在する道路での通行区分が左側通行である場合には、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。以上説明した以外の作動は、第1実施形態と同じである。
【0099】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0100】
次に、本発明の第3実施形態を説明する。なお、本実施形態は、第1実施形態において、入力手段を備えず、画像処理ユニット1の機能として相対速度算出手段が備えられているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0101】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、対象物抽出手段により抽出された対象物の、車両10に対する相対速度を算出する相対速度算出手段を備えている。なお、相対速度算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両10に対する相対速度を算出する。
【0102】
そして、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物から車両10に対向して走行する他車両を選定し、選定した該他車両の位置に基づいて、車両10が存在する道路の路側を検出する。なお、第1実施形態と同様に、車両10が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第1実施形態と同じである。
【0103】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第1実施形態と、走行環境を検出する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0104】
図3を参照して、本実施形態のSTEP004では、まず、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、STEP005〜008の処理と同様の処理が施され、対象物が抽出される。この処理は、STEP005〜008の処理と同様に、本発明の対象物抽出手段に相当する。なお、STEP004での所定の基準画像としては、例えば、予め定められた赤外線カメラ(例えば赤外線カメラ2R)から得られた画像(右画像)を用いる。または、STEP004での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。
【0105】
次に、相対速度算出手段により、抽出された対象物の車両10からの相対速度が算出される。具体的には、抽出された対象物について、STEP009〜017の処理と同様の処理が施され、対象物の位置(実空間位置データ)が検出される。この処理は、STEP009〜017の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両10からの距離が算出され、サンプリング周期毎に算出された距離から、抽出された対象物の車両10に対する相対速度が算出される。
【0106】
次に、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物のうちから、車両10に対向して走行する他車両(対向車)を選定する。具体的には、相対速度が車両10に接近する向きの速度で、且つその大きさが所定値以上の対象物を、対向車として選定する。そして、走行環境検出手段は、選定した対向車の位置に基づいて、走行環境として、路側の車両10に対する位置関係を検出する。例えば、選定した対向車が車両10の右側を走行している場合には、その反対側の、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0107】
そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理(STEP005〜008の処理)で使用する基準画像が新たに選択される。なお、本実施形態では、STEP004において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、STEP005〜017の処理を省略し、STEP004で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置(実空間位置データ)を用いて、STEP018以降の処理を行うことができる。以上説明した以外の作動は、第1実施形態と同じである。
【0108】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0109】
なお、本実施形態において、相対速度算出手段は、対象物の車両10に対する相対速度を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、相対速度算出手段は、対象物の車両10に対する相対速度を、位置検出手段による検出結果を用いずに、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、相対速度算出手段は、赤外線カメラ2R,2Lを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両10に対する相対速度を算出するものとしてもよい。
【0110】
次に、本発明の第4実施形態を、図12を参照して説明する。図12は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第1実施形態において、入力手段を備えず、画像処理ユニット1の機能として領域抽出手段が備えられているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0111】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、2つの赤外線カメラ2R,2Lのうちの少なくとも1つの赤外線カメラを介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備えている。
【0112】
そして、走行環境検出手段は、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、領域抽出手段により2値化処理を施された画像内の左側及び右側の領域のうちの、領域抽出手段により抽出された領域がより多く含まれる領域を決定する。そして、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、前記範囲として検出する。なお、本実施形態では、車両10が存在する道路は、車線が一つでもよい。
【0113】
また、基準画像選択手段は、2つの赤外線カメラ2R,2Lのうちの、走行環境検出手段により検出された範囲の側の赤外線カメラを介して取得した画像を、対象物抽出手段の処理で使用する基準画像として新たに選択する。以上説明した以外の構成は、第1実施形態と同じである。
【0114】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第1実施形態と、基準画像を選択する処理(図3のSTEP004)のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0115】
図3を参照して、本実施形態のSTEP004では、まず、画像処理ユニット1の領域抽出手段により、予め定められた赤外線カメラ(例えば赤外線カメラ2R)を介して取得した画像(右画像)に2値化処理を施して、該画像内の画素データが所定閾値以上である領域が抽出される。具体的には、右画像に対して、STEP005と同様に2値化処理が施される。なお、このとき、STEP006〜007と同様にランレングスデータ化してラベリングし、面積が所定値以上の領域のみを抽出するような、ノイズ除去処理を行ってもよい。
【0116】
次に、走行環境検出手段により、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0117】
ここで、走行環境を検出する処理について、図12を参照して説明する。図12には、右画像に対して2値化処理を施して領域を抽出した画像が例示されている。なお、図12に示した画像には、上述したようなノイズ除去処理が施されている。走行環境検出手段は、この画像に、右側の領域ARと左側の領域ALを設定する。そして、各領域について、図中の白で示された高輝度領域の面積の総和を算出し、算出された値が大きい方の領域を決定する。さらに、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、対象物がより多い範囲として検出する。図12の例では、画像内の左側の領域ALが決定され、車両10の前方の左側の範囲が、対象物がより多い範囲として検出される。これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が背景対象物が多いと想定されるので、路側の存在する側の範囲が検出される。なお、例えば、車両10が走行する道路が1車線の山道の場合には、車両10の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、山側の範囲が検出される。次に、画像処理ユニット1の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、検出された範囲が車両10の前方の左側の範囲であるので、赤外線カメラ2R,2Lのうち、車両10の左側に配置された赤外線カメラ2Lを介して取得された左画像が、基準画像として選択される。
【0118】
これにより、第1実施形態で図10を用いて説明した例と同様に、路側のような背景対象物がより多い側に対して、路側に近い側の赤外線カメラを介して取得された画像を基準画像として選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性を低くすることができる。そして、このように基準画像を選択することで、第1実施形態で図11を用いて説明した例と同様に、STEP005〜008で基準画像から対象物を抽出した際に、対象物の抽出精度を向上することができる。以上説明した以外の作動は、第1実施形態と同じである。
【0119】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0120】
次に、本発明の第5実施形態を、図13を参照して説明する。図13は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第4実施形態において、領域抽出手段の代わりに、距離算出手段を備えるものである。以下の説明では、第4実施形態と同一の構成については、第4実施形態と同一の参照符号を用いて説明を省略する。
【0121】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、対象物抽出手段により抽出された対象物の、車両10に対する距離を算出する距離算出手段を備えている。なお、距離算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両10に対する距離を算出する。
【0122】
そして、走行環境検出手段は、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、車両10から所定距離内の抽出された対象物がより多く含まれる範囲を、前記範囲として検出する。なお、本実施形態では、第4実施形態と同様に、車両10が存在する道路は、車線が一つでもよい。以上説明した以外の構成は、第4実施形態と同じである。
【0123】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第4実施形態と、基準画像を選択する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0124】
図3を参照して、本実施形態のSTEP004では、まず、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、STEP005〜008の処理と同様の処理が施され、対象物が抽出される。この処理は、STEP005〜008の処理と同様に、本発明の対象物抽出手段に相当する。なお、STEP004での所定の基準画像としては、例えば、予め定められた赤外線カメラ(例えば赤外線カメラ2R)から得られた画像(右画像)を用いる。または、STEP004での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。
【0125】
次に、距離算出手段により、抽出された対象物の車両10からの距離が算出される。具体的には、抽出された対象物について、STEP009〜017の処理と同様の処理が施され、対象物の位置(実空間位置データ)が検出される。この処理は、STEP009〜017の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両10からの距離が算出される。
【0126】
次に、走行環境検出手段により、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0127】
そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理(STEP005〜008の処理)で使用する基準画像が新たに選択される。なお、本実施形態では、STEP004において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、STEP005〜017の処理を省略し、STEP004で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置(実空間位置データ)を用いて、STEP018以降の処理を行うことができる。
【0128】
ここで、走行環境を検出する処理について、図13を参照して説明する。図13には、右画像から暫定的に抽出された対象物B3〜B9の車両10に対する位置が、車両10の上方から見た図に示されている。車両10の左側のラインL2を越えた部分には、道路脇の背景対象物B3〜B6が位置し、車両10の右側のラインL3を越えた部分には、道路脇の背景対象物B7〜B8が位置する。
【0129】
走行環境検出手段は、車両10の前方の左側の範囲のうちの車両10から所定距離内の範囲(実線αLで囲まれる範囲AL)と、車両10の前方の右側の範囲のうちの車両10から所定距離内の範囲(実線αRで囲まれる範囲AR)とを設定する。なお、範囲AL,ARとしては、車両10の前方の左側及び右側の範囲のうちの車両10から所定距離内の範囲のうち、さらに所定の部分範囲を設定してもよい。
【0130】
そして、走行環境検出手段は、範囲ALと範囲ARとのうちのどちらに背景対象物が多く含まれるかを検出する。図13の例においては、範囲ALの方が範囲ARより背景対象物が多く含まれるので、走行環境検出手段は、走行環境として、車両10の前方の左側の範囲が、対象物がより多い範囲であると検出する。
【0131】
これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が対向車線方向よりも背景対象物が多いと想定されるので、第4実施形態と同様に、路側の存在する側の範囲が検出される。なお、例えば、車両10が走行する道路が1車線の山道の場合には、車両10の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、第4実施形態と同様に、山側の範囲が検出される。以上説明した以外の作動は、第4実施形態と同じである。
【0132】
本実施形態によれば、第4実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0133】
なお、本実施形態において、距離算出手段は、対象物の車両10に対する距離を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、距離算出手段は、対象物の車両10に対する距離を、位置検出手段による検出結果を用いずに、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、距離算出手段は、赤外線カメラ2R,2Lを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両10に対する距離を算出するものとしてもよい。
【0134】
また、上述の第1〜第5実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なCCDカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【0135】
【図1】本発明の第1実施形態による車両の周辺監視装置の機能ブロック図。
【図2】図1の車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図。
【図3】図1の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャート。
【図4】図3の対象物検出・警報動作における取得画像の例示図。
【図5】図3の対象物検出・警報動作における2値化画像の例示図。
【図6】図3の対象物検出・警報動作における対象物抽出画像の例示図。
【図7】図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図。
【図8】図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図。
【図9】図3の対象物検出・警報動作における視差を算出する処理に関する説明図。
【図10】図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図。
【図11】図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図。
【図12】本発明の第4実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。
【図13】本発明の第5実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。
【符号の説明】
【0136】
1…画像処理ユニット(走行環境検出手段、基準画像選択手段、対象物抽出手段、位置検出手段、相対速度算出手段、領域抽出手段、距離算出手段)、2R,2L…赤外線カメラ(撮像手段)、10…車両。
【技術分野】
【0001】
本発明は、車両に搭載された複数のカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する対象物を検出する車両の周辺監視装置に関する。
【背景技術】
【0002】
近年、車両に複数のCCDカメラ等の撮像手段を搭載して周辺を撮像し、複数の撮像手段から得られる画像のずれ(視差)に基づいて、車両の周辺に存在する歩行者等の対象物と車両との距離を検出し、検出した結果に基づいて衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている(例えば特許文献1参照)。
【0003】
特許文献1の車両の周辺監視装置においては、2つの赤外線カメラで構成されたステレオカメラが車両に搭載され、ステレオカメラの右カメラから得られた画像(右画像)が基準画像とされる。前記車両の周辺監視装置は、この基準画像に対して、輝度が所定閾値以上の領域を「1」(白)、所定閾値未満の領域を「0」(黒)とする2値化処理を行い、2値化画像にラベリング処理等を施して、車両の周辺に存在する対象物を抽出する。そして、前記車両の周辺監視装置は、左カメラから得られた画像(左画像)中から、基準画像で抽出された各対象物に対応する対象物を探索し、基準画像中の対象物と左画像中の該対象物に対応する対象物との視差から、該対象物の車両に対する位置を検出する。
【0004】
しかしながら、車両の周辺には、歩行者等の検出の目的である対象物(検出対象物)の他に、例えば建物や塀等のような、検出対象物以外のもの(背景対象物)が存在する場合がある。この場合に、車両に搭載された撮像手段から周辺を撮像すると、検出対象物と共に、これらの背景対象物が背景として撮像される。このため、撮像された画像に2値化処理を行い対象物を抽出した際には、検出対象物に相当する領域の他に、背景対象物に相当する領域も抽出される。
【0005】
そして、特許文献1の車両の周辺監視装置において、例えば、右カメラから見て検出対象物と背景対象物とが直線上に位置する場合には、検出対象物と背景対象物とが基準画像上で重なった状態で抽出される。このため、検出対象物に相当する領域と背景対象物に相当する領域とを基準画像上で分離できず、対象物を適切に抽出することができないこととなる。よって、このような場合には、抽出された対象物に対応する対象物が探索できなかったり、視差が正しく得られなかったりして、対象物の車両に対する位置が適切に検出できないという不都合があった。
【特許文献1】特開2001−6096号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は、かかる不都合を解消し、複数の撮像手段を介して取得される画像から車両周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減して、対象物を精度良く検出することができる車両の周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
かかる目的を達成するために、本発明の第1態様の車両の周辺監視装置は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、前記車両の走行環境を検出する走行環境検出手段と、前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから、前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備えることを特徴とする。
【0008】
前記本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段は、車両に搭載された複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する。なお、この処理により抽出された対象物に基づいて、車両の周辺に存在する対象物が検出される。ここで、車両に搭載された複数の撮像手段を介して取得した画像には、歩行者等の検出対象物の他に、例えば道路周辺の建物や塀等の背景対象物が撮像される場合がある。この場合に、撮像された背景対象物は、画像に対して例えば2値化処理等の対象物を抽出する処理を実行した際に、検出対象物と共に抽出される。
【0009】
このとき、画像上での検出対象物と背景対象物との位置関係は、実空間上での各撮像手段に対する検出対象物と背景対象物との位置関係に応じて定まる。特に、実空間で撮像手段と検出対象物と背景対象物とが直線上に位置する場合には、該撮像手段を介して取得された画像上で、検出対象物と背景対象物とが重なって撮像される。そして、画像上で検出対象物と背景対象物とが重なって撮像されていると、該画像に対して対象物を抽出する処理を実行した際に、検出対象物と背景対象物とを該画像上で分離し難くなる。
【0010】
そこで、前記走行環境検出手段は、前記車両の走行環境を検出する。ここで、車両の走行環境とは、車両に搭載された撮像手段を介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。この検出された車両の走行環境により、車両周辺における背景対象物の分布が推測できるので、各撮像手段を介して取得された画像内で、検出対象物と背景対象物とが重なる可能性が判る。よって、前記基準画像選択手段は、前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから基準画像を選択することで、画像上で検出対象物と背景対象物とが重なる可能性の低い画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0011】
このように、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段により、所定の基準画像に対して前記対象物を抽出する処理を実行する際に、検出対象物と背景対象物とが基準画像上で分離され、対象物の抽出精度が向上する。よって、本発明によれば、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。
【0012】
さらに、前記本発明の第1態様の車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する位置検出手段を備えることが好ましい。
【0013】
これによれば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する。具体的には、例えば、前記位置検出手段は、前記複数の撮像手段を介して取得された画像のうちの、前記基準画像以外の画像(参照画像)上で、該基準画像から前記対象物抽出手段により抽出された対象物に対応する対象物を探索する。そして、前記位置検出手段は、前記基準画像内での前記対象物の位置と、前記参照画像内での該対象物の位置とのずれである視差を算出し、算出した視差に基づいて該対象物の前記車両に対する位置を検出する。このとき、本発明によれば、前記基準画像選択手段により、基準画像上で検出対象物と背景対象物とが重なる可能性が低減されているので、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上しており、前記位置検出手段により、対象物の位置を精度良く検出することができる。
【0014】
また、前記本発明の第1態様の車両の周辺監視装置において、前記車両が存在する道路に、複数の車線が設けられている場合に、前記走行環境検出手段は、前記走行環境として、前記車両が存在する道路の路側を検出し、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することが好ましい。
【0015】
これによれば、前記走行環境検出手段により、前記走行環境として、前記車両が存在する道路の路側が検出される。例えば、日本のように交通法規上で通行区分が左側通行であるときに、1方向に1車線ずつ設けられた2車線の道路の場合には、車両の右側が対向車線であり、車両の左側が道路の路側であるというような、路側の車両に対する位置関係が検出される。なお、道路の路側には、一般的に、歩行者が通行する歩道や路側帯等が設けられている。
【0016】
このとき、画像上の路側が撮像されている領域には、路側周辺の建物や塀等の背景対象物が撮像される。よって、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合には、画像上の対向車線が撮像されている領域に、検出対象物が撮像されている場合よりも、検出対象物と背景対象物とが画像上で重なる可能性が高くなると考えられる。
【0017】
そして、画像上の路側が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、路側周辺の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物が、検出対象物の背景として重なって撮像される。このとき、路側に近い側に配置された撮像手段と検出対象物とを結ぶ直線の方が、路側に遠い側に配置された撮像手段と検出対象物とを結ぶ直線より、撮像手段の光軸との成す角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、路側周辺のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、さらに、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、路側から遠い撮像手段から撮像された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が高いと想定される。
【0018】
そこで、前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。
【0019】
さらに、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記車両の乗員から道路の路側に関する情報が入力される入力手段を備え、前記走行環境検出手段は、前記入力手段に入力された道路の路側に関する情報に基づいて、前記車両が存在する道路の路側を検出することが好ましい。
【0020】
これによれば、車両の乗員から、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が入力されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0021】
または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記車両は車両用ナビゲーション装置を備え、前記走行環境検出手段は、前記車両用ナビゲーション装置を介して取得した道路の路側に関する情報に基づいて、該車両が存在する道路の路側を検出することが好ましい。
【0022】
これによれば、前記車両用ナビゲーション装置を介して、例えば車両の存在する道路での通行区分が左側通行であるというような、道路の路側に関する情報が取得されるので、前記走行環境検出手段により、該車両が存在する道路の路側の車両に対する位置関係が検出される。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0023】
または、前記車両が存在する道路に、複数の車線が設けられている場合における本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する相対速度算出手段を備え、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から前記車両に対向して走行する他車両(車両と逆向きに走行する他車両)を選定し、選定した該他車両の位置に基づいて、該車両が存在する道路の路側を検出することが好ましい。
【0024】
これによれば、前記相対速度算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する。前記対象物を抽出する処理は、例えば2値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0025】
このとき、車両に対向して走行する他車両(対向車)は、一般的に、歩行者や道路周辺の静止物(建物や塀等)よりも、車両に接近する速度が大きい。よって、前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から対向車を選定することができる。そして、選定された対向車の位置から対向車線の車両に対する位置関係が判るので、前記走行環境検出手段は、選定した対向車の位置に基づいて該対向車線の反対側である路側を検出することができる。よって、前記基準画像選択手段により、前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することができる。
【0026】
また、前記本発明の第1態様の車両の周辺監視装置において、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合に、前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲を検出し、前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することをが好ましい。
【0027】
これによれば、前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲を検出する。このとき、画像上の前記対象物以外のものがより多い範囲が撮像されている領域に、検出対象物が撮像されている場合には、検出対象物と背景対象物とが画像上で重なる可能性が高くなる。
【0028】
そして、画像上の前記範囲が撮像されている領域に、検出対象物が撮像されている場合において、画像上には、前記範囲内の撮像手段と検出対象物とを結ぶ直線の延長にある背景対象物(背景対象物)が、検出対象物の背景として重なって撮像される。このとき、前記範囲の側に配置された撮像手段と検出対象物とを結ぶ直線の方が、該範囲の反対側に配置された撮像手段と検出対象物とを結ぶ直線より、撮像手段の光軸との成す角が小さくなるので、路側に近い側に配置された撮像手段を介して取得された画像上には、前記範囲内のより遠方に位置する背景対象物が撮像されることとなる。そして、背景対象物は、撮像手段から遠いほど、画像上で小さく撮像されると共に、さらに、撮像手段から遠く撮像可能範囲を超えているときには撮像されないことも考えられる。このため、前記範囲の反対側に配置された撮像手段を介して取得された画像の方が、画像上で検出対象物と背景対象物とが重なる可能性が高いと想定される。
【0029】
そこで、前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する。これにより、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択され、対象物抽出手段により基準画像から対象物が精度良く抽出される。
【0030】
なお、例えば、前記車両が存在する道路に複数の車線が設けられている場合に、前記車両の前方の左側及び右側の範囲のうちの前記対象物以外のものがより多い範囲は、道路周辺の建物や塀等が含まれる、道路の路側が位置する側の範囲であり、前記対象物以外のものが少ない範囲は、そのほとんどが路面で占められる、対向車線が位置する側の範囲であると考えられる。よって、この場合には、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段は、より路側に近い撮像手段となる。
【0031】
さらに、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合における本発明の第1態様の車両の周辺監視装置において、前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することが好ましい。
【0032】
これによれば、前記領域抽出手段は、前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する。ここで、前記抽出される領域は、前記対象物に相当する領域である。前記対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0033】
このとき、前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定する。この決定された領域は、画像上で前記対象物がより多い領域であるので、この領域に対応する車両前方の範囲は、前記対象物がより多い範囲であると考えられる。よって、前記走行環境検出手段により、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出し、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。
【0034】
または、前記複数の撮像手段が、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段である場合における本発明の第1態様の車両の周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する距離算出手段を備え、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することが好ましい。
【0035】
これによれば、前記距離算出手段は、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する。前記対象物を抽出する処理は、例えば2値化処理等であり、前記抽出された対象物には、車両周辺の歩行者や他車両等の検出対象物の他、道路周辺の建物や塀等の背景対象物が含まれている。
【0036】
このとき、車両前方の所定距離内に含まれる前記抽出された対象物が多い場合には、検出対象物と重なって撮像される可能性の高い背景対象物が多いと想定される。そこで、前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出する。そして、前記基準画像選択手段により、検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性が低くなるように基準画像が選択される。
【0037】
一方、車両が走行される国の交通法規上の通行区分により、路側の車両に対する位置関係は予め判るので、道路の路側に最も近い撮像手段を、所定の撮像手段として予め設定することが可能である。そこで、本発明の第2態様の車両の周辺監視装置は、車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、前記複数の撮像手段のうちの、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する基準画像選択手段とを備えることを特徴とする。
【0038】
これによれば、前記基準画像選択手段により、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することで、本発明の第1態様の車両の周辺監視装置と同様に、基準画像上で検出対象物と背景対象物とが重なる可能性が低減される。よって、前記対象物抽出手段による基準画像上での対象物の抽出精度が向上されるので、基準画像から対象物が適切に抽出されて該対象物が精度良く検出される。
【発明を実施するための最良の形態】
【0039】
本発明の一実施形態を添付の図面を参照して説明する。まず、本発明の第1実施形態を図1〜図11を参照して説明する。図1は、本発明の第1実施形態による車両の周辺監視装置の機能ブロック図であり、図2は、車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図であり、図3は、図1の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャートである。また、図4〜図6は、図3の対象物検出・警報動作における処理画像の例示図であり、図7〜8は、図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図であり、図9は、図3の対象物検出・警報動作における視差を算出する処理に関する説明図である。また、図10〜図11は、図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図である。なお、本実施形態は、本発明の第1態様の車両の周辺監視装置に相当する。
【0040】
図1,2を参照して、本実施形態の車両の周辺監視装置は、該周辺監視装置を制御するCPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、車両10に搭載された、2つの赤外線カメラ2R,2Lと、車両10のヨーレートを検出するヨーレートセンサ3と、車両10の走行速度(車速)を検出する車速センサ4と、車両10のブレーキの操作を検出するためのブレーキセンサ5とが接続されている。
【0041】
また、画像処理ユニット1には、周辺監視装置に備えられた、音声で警報を発するためのスピーカ6と、赤外線カメラ2R,2Lを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための画像表示装置7とが接続されている。画像表示装置7には、例えば、車両10の走行状態を数字で表すメータと一体化されたメータ一体ディスプレイや、車両10のコンソールに設置されるナビゲーション用ディスプレイや、車両10のフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(ヘッドアップディスプレイ、Head Up Display)7a等が含まれる。
【0042】
また、画像処理ユニット1には、周辺監視装置に備えられた、車両10の乗員から道路の路側に関する情報が入力される入力手段(図示せず)が接続されている。入力手段に入力される道路の路側に関する情報は、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報である。
【0043】
画像処理ユニット1は、詳細の図示は省略するが、入力アナログ信号をディジタル信号に変換するA/D変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うCPU(中央演算装置)と、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)と、CPUが実行するプログラム、テーブル、マップ等を記憶するROM(Read Only Memory)と、スピーカ6の駆動信号やHUD7a等の表示信号等を出力する出力回路とを備えている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0044】
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の複数の(本実施形態においては2つの)撮像手段に相当する。
【0045】
図2に示すように、赤外線カメラ2R,2Lは、車両10の前部の右側及び左側に、車両10の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ2R,2Lは、2つの2つの赤外線カメラ2R,2Lの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように車両10に固定されている。また、HUD7aは、車両10のフロントウィンドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0046】
さらに、画像処理ユニット1は、その機能として、取得された画像のうちの所定の基準画像に対して対象物を抽出する処理を実行する対象物抽出手段と、抽出された対象物の車両10に対する位置を検出する位置検出手段と、車両10の走行環境を検出する走行環境検出手段と、検出された走行環境に応じて該基準画像を選択する基準画像選択手段とを備えている。
【0047】
対象物抽出手段は、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理を実行する。そして、位置検出手段は、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて、対象物の車両10に対する位置を検出する。なお、対象物を抽出して位置を検出する具体的な手法としては、例えば、上述の特許文献1に記載したような手法を用いることができる。
【0048】
走行環境検出手段は、車両10の乗員から入力手段に入力された道路の路側に関する情報に基づいて、車両10の走行環境として、車両10が存在する道路の路側を検出する。なお、ここで、車両の走行環境とは、車両10に搭載された赤外線カメラ2R,2Lを介して取得される画像上で、検出対象物と背景対象物とが重なる可能性の度合を認識又は推定し得る環境情報である。また、本実施形態の説明では、車両10が存在する道路には、複数の車線が設けられているものとする。
【0049】
基準画像選択手段は、走行環境検出手段により検出された走行環境に応じて、赤外線カメラ2R,2Lを介して取得された画像(グレースケール画像)のうちから、対象物抽出手段の処理に使用する基準画像を新たに選択する。このとき、基準画像選択手段は、赤外線カメラ2R,2Lのうちの、走行環境検出手段により検出された道路の路側に最も近い赤外線カメラを介して取得された画像を、基準画像として選択する。
【0050】
なお、本実施形態において、検出対象物(検出の目的である対象物)は、例えば、歩行者、大型動物、他車両等の、車両10の周辺に存在する動く物体である。また、背景対象物(検出対象物以外のもの)は、例えば、道路の路側の脇に存在する建物、塀、電柱等の、車両10から検出対象物を撮像した際に、検出対象物の背景として重なって撮像される可能性を有するような、車両10の走行する道路の周辺の静止物である。
【0051】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を、図3に示したフローチャートに従って説明する。図3を参照して、まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP001)、A/D変換し(STEP002)、グレースケール画像を画像メモリに格納する(STEP003)。なお、赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。
【0052】
ここで、図4(a),(b)は、それぞれ、赤外線カメラ2R,2Lによって得られる右画像と左画像とを模式的に説明するための図である。図4(a),(b)において、ハッチングを付した領域は、中間階調(グレー)の領域であり、太い実線で囲んだ領域が、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域(以下「高輝度領域」という)である。このように、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0053】
次に、右画像と左画像とのうちから、基準画像を選択する処理が行われる(STEP004)。なお、この処理の詳細については後述する。
【0054】
次に、基準画像に対して、その画像信号を2値化する処理が行われる(STEP005)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。図5に、図4(a)の画像を2値化した画像を示す。図5において、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【0055】
次に、2値化した画像データをランレングスデータに変換する処理が行われる(STEP006)。ランレングスデータにより表されるラインは、2値化により白となった高輝度領域を1次元の連結画素で示したもので、いずれもy方向(縦方向)には1画素の幅を有しており、またx方向(横方向)にはそれぞれランレングスデータを構成する画素の長さを有している。
【0056】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(STEP007)ことにより、対象物を抽出する処理が行われる(STEP008)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、画像内の連結した領域が対象物として把握される。例えば、図4(a)に示す高輝度領域が、図6に示すように、それぞれ枠P1,P2で囲われた対象物(2値化対象物)T1,T2として把握される。
【0057】
次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTが算出される(STEP009)。ここで、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)とすると(ただし、i=0,1,2,...,N−1)、対象物Aの面積Sは、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの中心の座標x[i]又はy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物(N個のランレングスデータ)について積算したものを、面積Sで割ることにより算出する。また、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。なお、重心Gの座標は、対象物の外接四角形の重心の座標で代用してもよい。
【0058】
次に、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物を認識する処理が行われる(STEP010)。時刻間追跡では、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A,Bを抽出したら、時刻(k+1)で抽出した対象物C,Dと対象物A,Bとの同一性判定を行う。同一性判定は、対象物の重心G、面積S、縦横比ASPECT等に基づいて行われる。そして、対象物A,Bと対象物C,Dとがそれぞれ同一であると判定されたら、対象物C,Dをそれぞれ対象物A,Bというラベルに変更することにより、時刻間追跡が行われる(同一対象物が認識される)。また、認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0059】
なお、以上説明したSTEP005〜010の処理は、2値化した基準画像について実行される。
【0060】
次に、車速センサ4により検出される車速VCARと、ヨーレートセンサ3により検出されるヨーレートYRとを読み込み、ヨーレートYRを時間積分することにより、車両10の回頭角θrが算出される(STEP011)。
【0061】
一方、STEP010,011の処理に平行して、STEP012〜015では、対象物と車両10との距離zを算出する処理が行われる。この演算はSTEP010,011より長い時間を要するため、STEP010,011より長い周期(例えばSTEP001〜011の実行周期の3倍程度の周期)で実行される。
【0062】
まず、基準画像の2値化画像によって追跡される対象物の中の1つを選択することにより、基準画像から図7(a)に示すように探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(STEP012)。
【0063】
次に、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP013)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に図7(b)に示すように探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を下記式(1)により算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。
【0064】
【数1】
【0065】
ここで、IR(m,n)は、図8に示す探索画像R1内の座標(m,n)の位置の輝度値であり、IL(a+m−M,b+n−N)は、図8に示す探索領域R2内の座標(a,b)を基点とした、探索画像R1と同一形状の局所領域R3内の座標(m,n)の位置の輝度値である。基点の座標(a,b)を変化させて輝度差分総和値C(a,b)が最小となる位置を求めることにより、対応画像の位置が特定される。
【0066】
なお、この相関演算は、2値画像ではなくグレースケール画像を用いて行う。また、同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2a(図7(b)に破線で示す)を探索領域として設定する。STEP012〜013の処理により、図9(a)に示すような基準画像中の探索画像R1と、図9(b)に示すような参照画像中での対応画像R4とが抽出される。
【0067】
次に、探索画像R1の重心位置と、対応画像R4の重心位置とに基づいて、視差Δd(画素数)が算出される(STEP014)。具体的には、図9(a)に示すように、探索画像R1の重心位置と画像中心線LCTRとの距離dR(画素数)が算出される。また、図9(b)に示すように、対応画像R4の重心位置と画像中心線LCTRとの距離dL(画素数)が算出される。そして、視差Δdが、Δd=dL+dRより算出される。
【0068】
次に、算出した視差Δdを下記式(2)に適用して、車両10と対象物との距離zが算出される(STEP015)。
【0069】
【数2】
【0070】
ここで、Bは基線長、すなわち赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向(X方向)の距離(両カメラの光軸の間隔)、fは赤外線カメラ2R,2Lのレンズの焦点距離、pは赤外線カメラ2R,2Lの撮像素子内の画素間隔である。
【0071】
次に、STEP011における回頭角θrの算出と、STEP015における対象物と車両10との距離zの算出とが完了したら、画像内の座標(x,y)及び距離zを、実空間座標(X,Y,Z)に変換する(STEP016)。ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点の位置(車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像中心を原点として水平方向をx、垂直方向をyと定めている。
【0072】
次に、車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正がを行われる(STEP017)。回頭角補正は、時刻kから(k+1)までの期間中に車両10が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0073】
次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と車両10との相対移動ベクトルに対応する近似値LMVを求める(STEP018)。そして、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の一座標P(N−1)=(X(N−1),Y(N−1),Z(N−1))とを近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))、及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
【0074】
次に、検出した対象物との衝突の可能性を判定する警報判定処理が行われる(STEP019)。警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、及び進入衝突判定処理により、車両10と検出した対象物との衝突の可能性を判定する処理である。なお、接近判定領域内か否かの判定処理は、衝突判定処理において、車両10と検出した対象物との衝突の可能性があると判定された場合に実行される。さらに、進入衝突判定処理は、接近判定領域内か否かの判定処理において、車両10と検出した対象物との衝突の可能性がないと判定された場合に実行される。
【0075】
まず、衝突判定処理は、対象物と車両10とのZ方向の相対速度Vsを求め、両者が相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Tは、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。
【0076】
また、接近判定領域内か否かの判定処理は、赤外線カメラ2R,2Lで監視可能な領域AR0内の、対象物が車両10の車幅αの両側に余裕βを加えた範囲に対応する領域AR1、すなわち対象物がそのまま存在し続ければ車両10との衝突の可能性が極めて高い接近判定領域AR1内に存在するか否かを判定する処理である。
【0077】
さらに、進入衝突判定処理は、上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域AR2,AR3を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域AR1に進入すると共に車両10と衝突するか否かを判定する処理である。
【0078】
STEP019で車両10と検出した対象物との衝突の可能性が判定された場合(STEP019の判定結果がNO)には、警報判定処理を終了し、STEP001に戻り、上述の処理を繰り返す。また、STEP019で車両10と検出した対象物との衝突の可能性があると判定された場合(STEP019の判定結果がYES)には、STEP020の警報出力判定処理へ進む。
【0079】
STEP020では、ブレーキセンサ5の出力BRから車両10の運転者がブレーキ操作を行っているかを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う。STEP020で、車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値Gthより大きいときには、ブレーキ操作により衝突が回避されると判定し、警報出力判定処理を終了し(STEP020の判定結果がNO)、STEP001に戻り、上述の処理を繰り返す。なお、所定閾値Gthは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と車両10との距離Zv(0)以下の走行距離で車両10が停止する条件に対応する値である。
【0080】
一方、車両10の運転者がブレーキ操作を行っている場合において加速度Gsが所定閾値Gth以下であるとき、又は、車両10の運転者がブレーキ操作を行っていない場合には、STEP020の判定結果はYESとなる。この場合は、対象物と接触する可能性が高いので、STEP021へ進み、スピーカ3を介して音声による警報を発する。そして、STEP022へ進み、画像表示装置7に対して、例えば赤外線カメラ2Lにより得られる画像を出力し、接近してくる対象物を強調して車両10の運転者に表示する。
【0081】
なお、本実施形態では、前述したように、画像処理ユニット1が、その機能として、本発明の走行環境検出手段と、基準画像選択手段と、対象物抽出手段と、位置検出手段とを含んでいる。より具体的には、図3のSTEP004が走行環境検出手段、基準画像選択手段に相当し、図3のSTEP005〜STEP008が対象物抽出手段に相当し、図3のSTEP009〜STEP017が位置検出手段に相当する。
【0082】
以上が、本実施形態の車両の周辺監視装置の画像処理ユニット1における対象物検出・警報動作である。これにより、車両10の周辺の赤外線画像と、車両10の走行状態を示す信号とから、車両10の前方の歩行者や動物等の対象物が検出され、衝突の可能性が高いと判断したときに警報が発せられる。
【0083】
次に、図3に示したフローチャートのSTEP004における基準画像を選択する処理について詳細に説明する。
【0084】
まず、画像処理ユニット1の走行環境検出手段により、車両10の乗員から入力手段に入力された路側に関する情報が読み込まれる。これにより、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報が読み込まれる。次に、走行環境検出手段は、走行環境として、路側の車両10に対する位置関係を検出する。例えば、車両10の走行している道路での通行区分は左側通行である場合には、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0085】
次に、画像処理ユニット1の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、路側が車両10の左側であるので、赤外線カメラ2R,2Lのうち、路側に最も近い赤外線カメラは、車両10の左側に配置された赤外線カメラ2Lである。よって、赤外線カメラ2Lを介して取得された左画像が、基準画像として選択される。
【0086】
ここで、基準画像を選択する処理について、図10を参照して説明する。図10には、車両10とその周辺の道路を、車両10の上方側から見た図が模式的に示されている。図10を参照して、車両10は、車線A0を矢示方向に走行している。車両10の右側のセンターラインCLを越えた領域が対向車線A1であり、車両10の左側の領域が路側A2である。車両10の前部に、赤外線カメラ2R,2Lが配置されている。車両10の前方に検出対象物T0が所在し、路側A2には、背景対象物B1,B2が所在する。
【0087】
図10では、実空間座標は図2と同様にとり、検出対象物T0の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X0,Z0)である。背景対象物B1の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X1,Z1)、背景対象物B2の赤外線カメラ2RからのX軸方向及びZ軸方向の距離は(X2=X1,Z2)である。Bは基線長、すなわち赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向(X方向)の距離(両カメラの光軸の間隔)である。また、図10の例において、X1>X0>Bとなっている。
【0088】
図10において、赤外線カメラ2Rから検出対象物T0を撮像すると、路側A2上の赤外線カメラ2Rと検出対象物T0とを結ぶ直線の延長にある背景対象物B1が、その撮像した画像(右画像)内で、検出対象物T0の背景として撮像される。このとき、検出対象物T0と背景対象物B1とが重なる条件は、X0:X1=Z0:Z1である。また、赤外線カメラ2Lから検出対象物T0を撮像すると、路側A2上の赤外線カメラ2Lと検出対象物T0とを結ぶ直線の延長上にある背景対象物B2が、その撮像した画像(左画像)内で、検出対象物T0の背景として撮像される。このとき、検出対象物T0と背景対象物B2とが重なる条件は、X0−B:X1−B=Z0:Z2である。
【0089】
このとき、赤外線カメラ2L及び検出対象物T0を結ぶ直線とZ軸との成す角θLの方が、赤外線カメラ2R及び検出対象物T0を結ぶ直線とZ軸との成す角θRより小さいので、図10に示すように、背景対象物B2の方が、常に背景対象物B1よりも遠方に存在する。すなわちZ2−Z1>0が常に成立する。そして、遠方に位置する背景対象物B2は画像内で小さく撮像されると共に、物体からの赤外線放射は距離に応じて減衰するため、遠方に位置する背景対象物B2は画像上で撮像され難い。このため、近傍に位置する背景対象物B1の方が、画像上で検出対象物T0と重なって撮像される可能性が高くなる。よって、路側から近い赤外線カメラ2Lから得られた左画像を基準画像として選択することで、基準画像上で検出対象物T0が背景対象物と重なる可能性を低くすることができる。
【0090】
そして、このように基準画像を選択することで、STEP005〜008で基準画像から対象物を抽出した際に、対象物の検出精度を向上することができる。例えば、図10で示したように、車両10の前方に検出対象物T0が所在し、路側A2には背景対象物B1,B2が所在している場合に、赤外線カメラ2R,2Lにより撮像した画像を2値化処理(STEP005)して得られた画像を、図11(a)(b)に示す。なお、図11(a)に、赤外線カメラ2Lから得られた左画像を2値化した画像を例示し、図11(b)に、赤外線カメラ2Rから得られた右画像を2値化した画像を例示する。
【0091】
図11(a)(b)に例示した画像上には、それぞれ、検出対象物T0(歩行者)と背景対象物B1(電柱)とが高輝度領域として抽出されている。一方、背景対象物B2は、遠方に所在するので検出対象物T0、背景対象物B1より輝度が低いため、2値化処理の際に高輝度領域として抽出されていない。このとき、図11(b)においては、検出対象物T0と背景対象物B1とが重なっており、検出対象物T0を分離して抽出できていないが、図11(a)においては、検出対象物T0が独立して抽出できている。よって、図11(a)から対象物を抽出する(STEP006〜008)ことで、検出対象物T0が精度良く抽出される。
【0092】
以上の処理により、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0093】
なお、本実施形態では、入力手段を備え、走行環境検出手段は、入力手段に入力された情報に基づいて走行環境を検出し、基準画像選択手段は、走行環境検出手段により検出された走行環境に基づいて基準画像を選択するものとしている。一方、車両10が走行される国の交通法規上の通行区分により、路側の車両10に対する位置関係は予め判るので、道路の路側に最も近い赤外線カメラを、所定の赤外線カメラとして予め設定することが可能である。そこで、他の実施形態として、入力手段を備えず、基準画像選択手段は、車両10が存在する道路の路側に最も近い所定の赤外線カメラを介して取得された画像を基準画像として選択するものとしてもよい(本発明の第2態様の車両の周辺監視装置に相当する)。
【0094】
また、本実施形態では、画像処理ユニット1の機能として、位置検出手段を備え、対象物抽出手段により抽出された対象物に基づいて、車両10の周辺の対象物の位置が検出され、衝突の可能性が高いと判断したときに警報が発せられるものとしたが、他の実施形態として、位置検出手段を備えず、例えば、画像表示装置7に対して基準画像を出力し、抽出された対象物を強調して車両10の運転者に表示するようにしてもよい。このような場合でも、対象物の抽出精度が向上しているので、車両10の周辺の歩行者等の対象物が適切に強調表示されて運転者に認識される。
【0095】
次に、本発明の第2実施形態を説明する。なお、本実施形態は、第1実施形態において、入力手段を備えず、車両10にナビゲーション装置が搭載されているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0096】
本実施形態では、画像処理ユニット1に、車両10に搭載されたナビゲーション装置が接続されている。そして、画像処理ユニット1の機能である走行環境検出手段は、ナビゲーション装置を介して取得された道路の路側に関する情報に基づいて、走行環境として、車両10が存在する道路の路側を検出する。ナビゲーション装置を介して取得される道路の路側に関する情報は、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報である。なお、第1実施形態と同様に、車両10が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第1実施形態と同じである。
【0097】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における対象物検出処理・警報作動は、第1実施形態と、基準画像を選択する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0098】
図3を参照して、本実施形態のSTEP004では、まず、画像処理ユニット1の走行環境検出手段により、ナビゲーション装置を介して路側に関する情報が取得される。これにより、例えば、車両10の存在する道路での通行区分が左側通行であるというような情報が取得される。次に、走行環境検出手段は、走行環境として、路側の車両10に対する位置関係を検出する。例えば、車両10の存在する道路での通行区分が左側通行である場合には、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。以上説明した以外の作動は、第1実施形態と同じである。
【0099】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0100】
次に、本発明の第3実施形態を説明する。なお、本実施形態は、第1実施形態において、入力手段を備えず、画像処理ユニット1の機能として相対速度算出手段が備えられているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0101】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、対象物抽出手段により抽出された対象物の、車両10に対する相対速度を算出する相対速度算出手段を備えている。なお、相対速度算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両10に対する相対速度を算出する。
【0102】
そして、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物から車両10に対向して走行する他車両を選定し、選定した該他車両の位置に基づいて、車両10が存在する道路の路側を検出する。なお、第1実施形態と同様に、車両10が存在する道路には、複数の車線が設けられているものとする。以上説明した以外の構成は、第1実施形態と同じである。
【0103】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第1実施形態と、走行環境を検出する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出処理・警報作動のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0104】
図3を参照して、本実施形態のSTEP004では、まず、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、STEP005〜008の処理と同様の処理が施され、対象物が抽出される。この処理は、STEP005〜008の処理と同様に、本発明の対象物抽出手段に相当する。なお、STEP004での所定の基準画像としては、例えば、予め定められた赤外線カメラ(例えば赤外線カメラ2R)から得られた画像(右画像)を用いる。または、STEP004での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。
【0105】
次に、相対速度算出手段により、抽出された対象物の車両10からの相対速度が算出される。具体的には、抽出された対象物について、STEP009〜017の処理と同様の処理が施され、対象物の位置(実空間位置データ)が検出される。この処理は、STEP009〜017の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両10からの距離が算出され、サンプリング周期毎に算出された距離から、抽出された対象物の車両10に対する相対速度が算出される。
【0106】
次に、走行環境検出手段は、相対速度算出手段により算出された相対速度に基づいて、抽出された対象物のうちから、車両10に対向して走行する他車両(対向車)を選定する。具体的には、相対速度が車両10に接近する向きの速度で、且つその大きさが所定値以上の対象物を、対向車として選定する。そして、走行環境検出手段は、選定した対向車の位置に基づいて、走行環境として、路側の車両10に対する位置関係を検出する。例えば、選定した対向車が車両10の右側を走行している場合には、その反対側の、車両10の左側が路側であると検出される。この走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0107】
そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理(STEP005〜008の処理)で使用する基準画像が新たに選択される。なお、本実施形態では、STEP004において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、STEP005〜017の処理を省略し、STEP004で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置(実空間位置データ)を用いて、STEP018以降の処理を行うことができる。以上説明した以外の作動は、第1実施形態と同じである。
【0108】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0109】
なお、本実施形態において、相対速度算出手段は、対象物の車両10に対する相対速度を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、相対速度算出手段は、対象物の車両10に対する相対速度を、位置検出手段による検出結果を用いずに、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、相対速度算出手段は、赤外線カメラ2R,2Lを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両10に対する相対速度を算出するものとしてもよい。
【0110】
次に、本発明の第4実施形態を、図12を参照して説明する。図12は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第1実施形態において、入力手段を備えず、画像処理ユニット1の機能として領域抽出手段が備えられているものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
【0111】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、2つの赤外線カメラ2R,2Lのうちの少なくとも1つの赤外線カメラを介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備えている。
【0112】
そして、走行環境検出手段は、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、領域抽出手段により2値化処理を施された画像内の左側及び右側の領域のうちの、領域抽出手段により抽出された領域がより多く含まれる領域を決定する。そして、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、前記範囲として検出する。なお、本実施形態では、車両10が存在する道路は、車線が一つでもよい。
【0113】
また、基準画像選択手段は、2つの赤外線カメラ2R,2Lのうちの、走行環境検出手段により検出された範囲の側の赤外線カメラを介して取得した画像を、対象物抽出手段の処理で使用する基準画像として新たに選択する。以上説明した以外の構成は、第1実施形態と同じである。
【0114】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第1実施形態と、基準画像を選択する処理(図3のSTEP004)のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0115】
図3を参照して、本実施形態のSTEP004では、まず、画像処理ユニット1の領域抽出手段により、予め定められた赤外線カメラ(例えば赤外線カメラ2R)を介して取得した画像(右画像)に2値化処理を施して、該画像内の画素データが所定閾値以上である領域が抽出される。具体的には、右画像に対して、STEP005と同様に2値化処理が施される。なお、このとき、STEP006〜007と同様にランレングスデータ化してラベリングし、面積が所定値以上の領域のみを抽出するような、ノイズ除去処理を行ってもよい。
【0116】
次に、走行環境検出手段により、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0117】
ここで、走行環境を検出する処理について、図12を参照して説明する。図12には、右画像に対して2値化処理を施して領域を抽出した画像が例示されている。なお、図12に示した画像には、上述したようなノイズ除去処理が施されている。走行環境検出手段は、この画像に、右側の領域ARと左側の領域ALを設定する。そして、各領域について、図中の白で示された高輝度領域の面積の総和を算出し、算出された値が大きい方の領域を決定する。さらに、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、決定された領域と同じ側の範囲を、対象物がより多い範囲として検出する。図12の例では、画像内の左側の領域ALが決定され、車両10の前方の左側の範囲が、対象物がより多い範囲として検出される。これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が背景対象物が多いと想定されるので、路側の存在する側の範囲が検出される。なお、例えば、車両10が走行する道路が1車線の山道の場合には、車両10の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、山側の範囲が検出される。次に、画像処理ユニット1の基準画像選択手段により、走行環境に応じて、基準画像が選択される。このとき、検出された範囲が車両10の前方の左側の範囲であるので、赤外線カメラ2R,2Lのうち、車両10の左側に配置された赤外線カメラ2Lを介して取得された左画像が、基準画像として選択される。
【0118】
これにより、第1実施形態で図10を用いて説明した例と同様に、路側のような背景対象物がより多い側に対して、路側に近い側の赤外線カメラを介して取得された画像を基準画像として選択することで、検出対象物と背景対象物とが基準画像上で重なる可能性を低くすることができる。そして、このように基準画像を選択することで、第1実施形態で図11を用いて説明した例と同様に、STEP005〜008で基準画像から対象物を抽出した際に、対象物の抽出精度を向上することができる。以上説明した以外の作動は、第1実施形態と同じである。
【0119】
本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0120】
次に、本発明の第5実施形態を、図13を参照して説明する。図13は、本実施形態の車両の周辺監視装置の作動における基準画像を選択する処理に関する説明図である。なお、本実施形態は、第4実施形態において、領域抽出手段の代わりに、距離算出手段を備えるものである。以下の説明では、第4実施形態と同一の構成については、第4実施形態と同一の参照符号を用いて説明を省略する。
【0121】
本実施形態の車両の周辺監視装置において、画像処理ユニット1は、その機能として、対象物抽出手段により抽出された対象物の、車両10に対する距離を算出する距離算出手段を備えている。なお、距離算出手段は、例えば、対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置を用いて、抽出された対象物の車両10に対する距離を算出する。
【0122】
そして、走行環境検出手段は、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲を検出する。このとき、走行環境検出手段は、車両10の前方の左側及び右側の範囲のうちの、車両10から所定距離内の抽出された対象物がより多く含まれる範囲を、前記範囲として検出する。なお、本実施形態では、第4実施形態と同様に、車両10が存在する道路は、車線が一つでもよい。以上説明した以外の構成は、第4実施形態と同じである。
【0123】
次に、本実施形態の車両の周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における周辺監視処理は、第4実施形態と、基準画像を選択する処理(図3のSTEP004)における走行環境を検出する処理のみが相違するものである。本実施形態における対象物検出・警報動作のフローチャートは図2と同じであるので、以下の説明では、図2に示したフローチャートを参照して説明する。
【0124】
図3を参照して、本実施形態のSTEP004では、まず、赤外線カメラ2R,2Lを介して取得された画像のうちの、所定の基準画像に対して、対象物を抽出する処理が実行される。具体的には、所定の基準画像に対して、STEP005〜008の処理と同様の処理が施され、対象物が抽出される。この処理は、STEP005〜008の処理と同様に、本発明の対象物抽出手段に相当する。なお、STEP004での所定の基準画像としては、例えば、予め定められた赤外線カメラ(例えば赤外線カメラ2R)から得られた画像(右画像)を用いる。または、STEP004での所定の基準画像として、例えば、前回のサンプリング時の処理で、基準画像選択手段により選択された基準画像と、同じ赤外線カメラから得られた画像を用いる。
【0125】
次に、距離算出手段により、抽出された対象物の車両10からの距離が算出される。具体的には、抽出された対象物について、STEP009〜017の処理と同様の処理が施され、対象物の位置(実空間位置データ)が検出される。この処理は、STEP009〜017の処理と同様に、本発明の位置検出手段に相当する。そして、この検出結果を用いて、抽出された対象物の車両10からの距離が算出される。
【0126】
次に、走行環境検出手段により、走行環境として、車両10の前方の左側及び右側の範囲のうちの対象物がより多い範囲が検出される。この検出された走行環境により、車両10の周辺での背景対象物の分布が推測される。
【0127】
そして、この走行環境に応じて、基準画像選択手段により、対象物抽出手段の処理(STEP005〜008の処理)で使用する基準画像が新たに選択される。なお、本実施形態では、STEP004において、対象物抽出手段の処理に使用された基準画像と、基準画像選択手段により新たに選択された基準画像とが同じである場合には、STEP005〜017の処理を省略し、STEP004で対象物抽出手段により抽出された対象物の、位置検出手段により検出される位置(実空間位置データ)を用いて、STEP018以降の処理を行うことができる。
【0128】
ここで、走行環境を検出する処理について、図13を参照して説明する。図13には、右画像から暫定的に抽出された対象物B3〜B9の車両10に対する位置が、車両10の上方から見た図に示されている。車両10の左側のラインL2を越えた部分には、道路脇の背景対象物B3〜B6が位置し、車両10の右側のラインL3を越えた部分には、道路脇の背景対象物B7〜B8が位置する。
【0129】
走行環境検出手段は、車両10の前方の左側の範囲のうちの車両10から所定距離内の範囲(実線αLで囲まれる範囲AL)と、車両10の前方の右側の範囲のうちの車両10から所定距離内の範囲(実線αRで囲まれる範囲AR)とを設定する。なお、範囲AL,ARとしては、車両10の前方の左側及び右側の範囲のうちの車両10から所定距離内の範囲のうち、さらに所定の部分範囲を設定してもよい。
【0130】
そして、走行環境検出手段は、範囲ALと範囲ARとのうちのどちらに背景対象物が多く含まれるかを検出する。図13の例においては、範囲ALの方が範囲ARより背景対象物が多く含まれるので、走行環境検出手段は、走行環境として、車両10の前方の左側の範囲が、対象物がより多い範囲であると検出する。
【0131】
これにより、例えば、道路に複数の車線が設けられている場合には、路側の存在する方の範囲の方が対向車線方向よりも背景対象物が多いと想定されるので、第4実施形態と同様に、路側の存在する側の範囲が検出される。なお、例えば、車両10が走行する道路が1車線の山道の場合には、車両10の山側の斜面の方が谷側よりも背景対象物が多いと想定されるので、第4実施形態と同様に、山側の範囲が検出される。以上説明した以外の作動は、第4実施形態と同じである。
【0132】
本実施形態によれば、第4実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から車両10周辺の対象物を検出する際に、検出対象物と背景対象物とが基準画像上で重なる可能性を低減することができる。これにより、基準画像上での対象物の抽出精度が向上するので、対応対象物の探索及び視差の算出が適切に実行され、対象物の位置が精度良く検出される。
【0133】
なお、本実施形態において、距離算出手段は、対象物の車両10に対する距離を、位置検出手段による検出結果を用いて算出したが、他の実施形態として、距離算出手段は、対象物の車両10に対する距離を、位置検出手段による検出結果を用いずに、赤外線カメラ2R,2Lを介して取得された画像と、対象物抽出手段により抽出された対象物とに基づいて算出するものとしてもよい。さらに、距離算出手段は、赤外線カメラ2R,2Lを介して取得された画像の代わりに、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報を用いて、対象物の車両10に対する距離を算出するものとしてもよい。
【0134】
また、上述の第1〜第5実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なCCDカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【0135】
【図1】本発明の第1実施形態による車両の周辺監視装置の機能ブロック図。
【図2】図1の車両における赤外線カメラ、センサ、ディスプレイ等の取り付け位置を示す図。
【図3】図1の車両の周辺監視装置の画像処理ユニットにおける対象物検出・警報動作を示すフローチャート。
【図4】図3の対象物検出・警報動作における取得画像の例示図。
【図5】図3の対象物検出・警報動作における2値化画像の例示図。
【図6】図3の対象物検出・警報動作における対象物抽出画像の例示図。
【図7】図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図。
【図8】図3の対象物検出・警報動作における対応画像を探索する処理に関する説明図。
【図9】図3の対象物検出・警報動作における視差を算出する処理に関する説明図。
【図10】図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図。
【図11】図3の対象物検出・警報動作における基準画像を選択する処理に関する説明図。
【図12】本発明の第4実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。
【図13】本発明の第5実施形態による車両の周辺監視装置における走行環境を検出する処理に関する説明図。
【符号の説明】
【0136】
1…画像処理ユニット(走行環境検出手段、基準画像選択手段、対象物抽出手段、位置検出手段、相対速度算出手段、領域抽出手段、距離算出手段)、2R,2L…赤外線カメラ(撮像手段)、10…車両。
【特許請求の範囲】
【請求項1】
車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
前記車両の走行環境を検出する走行環境検出手段と、
前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから、前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備えることを特徴とする車両の周辺監視装置。
【請求項2】
前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する位置検出手段を備えることを特徴とする請求項1記載の車両の周辺監視装置。
【請求項3】
前記車両が存在する道路には、複数の車線が設けられ、
前記走行環境検出手段は、前記走行環境として、前記車両が存在する道路の路側を検出し、
前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする請求項1又は請求項2記載の車両の周辺監視装置。
【請求項4】
前記車両の乗員から道路の路側に関する情報が入力される入力手段を備え、
前記走行環境検出手段は、前記入力手段に入力された道路の路側に関する情報に基づいて、前記車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項5】
前記車両は車両用ナビゲーション装置を備え、
前記走行環境検出手段は、前記車両用ナビゲーション装置を介して取得した道路の路側に関する情報に基づいて、該車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項6】
前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する相対速度算出手段を備え、
前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から前記車両に対向して走行する他車両を選定し、選定した該他車両の位置に基づいて、該車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項7】
前記複数の撮像手段は、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段であり、
前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物がより多い範囲を検出し、
前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする請求項1又は請求項2記載の車両の周辺監視装置。
【請求項8】
前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、
前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することを特徴とする請求項7記載の車両の周辺監視装置。
【請求項9】
前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する距離算出手段を備え、
前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することをを特徴とする請求項7記載の車両の周辺監視装置。
【請求項10】
車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
前記複数の撮像手段のうちの、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する基準画像選択手段とを備えることを特徴とする車両の周辺監視装置。
【請求項1】
車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
前記車両の走行環境を検出する走行環境検出手段と、
前記走行環境検出手段により検出された走行環境に応じて、前記複数の撮像手段を介して取得された画像のうちから、前記対象物抽出手段の処理で使用する基準画像を新たに選択する基準画像選択手段とを備えることを特徴とする車両の周辺監視装置。
【請求項2】
前記複数の撮像手段を介して取得された画像と、前記対象物抽出手段により抽出された対象物とに基づいて、該対象物の前記車両に対する位置を検出する位置検出手段を備えることを特徴とする請求項1記載の車両の周辺監視装置。
【請求項3】
前記車両が存在する道路には、複数の車線が設けられ、
前記走行環境検出手段は、前記走行環境として、前記車両が存在する道路の路側を検出し、
前記基準画像選択手段は、前記複数の撮像手段のうちの、前記走行環境検出手段により検出された前記道路の路側に最も近い撮像手段を介して取得された画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする請求項1又は請求項2記載の車両の周辺監視装置。
【請求項4】
前記車両の乗員から道路の路側に関する情報が入力される入力手段を備え、
前記走行環境検出手段は、前記入力手段に入力された道路の路側に関する情報に基づいて、前記車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項5】
前記車両は車両用ナビゲーション装置を備え、
前記走行環境検出手段は、前記車両用ナビゲーション装置を介して取得した道路の路側に関する情報に基づいて、該車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項6】
前記対象物抽出手段により抽出された対象物の、前記車両に対する相対速度を算出する相対速度算出手段を備え、
前記走行環境検出手段は、前記相対速度算出手段により算出された相対速度に基づいて、前記抽出された対象物から前記車両に対向して走行する他車両を選定し、選定した該他車両の位置に基づいて、該車両が存在する道路の路側を検出することを特徴とする請求項3記載の車両の周辺監視装置。
【請求項7】
前記複数の撮像手段は、前記車両の前部の左側及び右側にそれぞれ配置されて、該車両の前方を撮像する2つの撮像手段であり、
前記走行環境検出手段は、前記走行環境として、前記車両の前方の左側及び右側の範囲のうちの前記対象物がより多い範囲を検出し、
前記基準画像選択手段は、前記2つの撮像手段のうちの、前記走行環境検出手段により検出された前記範囲の側の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択することを特徴とする請求項1又は請求項2記載の車両の周辺監視装置。
【請求項8】
前記2つの撮像手段のうちの少なくとも1つの撮像手段を介して取得した画像に2値化処理を施して、該画像内の画素データが所定閾値以上である領域を抽出する領域抽出手段を備え、
前記走行環境検出手段は、前記画像内の左側及び右側の領域のうちの前記領域抽出手段により抽出された領域がより多く含まれる領域を決定し、前記車両の前方の左側及び右側の範囲のうちの前記決定された領域と同じ側の範囲を、前記対象物がより多い範囲として検出することを特徴とする請求項7記載の車両の周辺監視装置。
【請求項9】
前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を算出する距離算出手段を備え、
前記走行環境検出手段は、前記車両の前方の左側及び右側の範囲のうちの、該車両から所定距離内の前記抽出された対象物がより多く含まれる範囲を、前記対象物がより多い範囲として検出することをを特徴とする請求項7記載の車両の周辺監視装置。
【請求項10】
車両に搭載された複数の撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
前記複数の撮像手段を介して取得された画像のうちの所定の基準画像に対して、前記対象物を抽出する処理を実行する対象物抽出手段と、
前記複数の撮像手段のうちの、複数の車線が設けられた前記車両が存在する道路の路側に最も近い、所定の撮像手段を介して取得した画像を、前記対象物抽出手段の処理で使用する基準画像として新たに選択する基準画像選択手段とを備えることを特徴とする車両の周辺監視装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−193445(P2007−193445A)
【公開日】平成19年8月2日(2007.8.2)
【国際特許分類】
【出願番号】特願2006−9102(P2006−9102)
【出願日】平成18年1月17日(2006.1.17)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成19年8月2日(2007.8.2)
【国際特許分類】
【出願日】平成18年1月17日(2006.1.17)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]